VERİ MADENCİLİĞİ

İsimsel (Nominal) Değişkenler
Sınıflayıcı ölçek, gözlem değerlerinin tek tek nitel kategori ya da sınıflara atanması sonucu oluşan ölçektir. Daha önce verilen bir markette satılan ürünlerin türlerine göre
sınıflanması örneğinde sınıflayıcı ölçek kullanılır. Cinsiyet sınıflaması veya hastaneye
başvuran hastaların rahatsızlıklarına göre sınıflandırılması sınıflayıcı ölçeğe örnek olarak verilebilir.
İsimsel değişken sayısal bir formda olabilir. Ancak bu sayısal değer matematiksel bir
hesaplama ya da işlem yapmak için uygun değildir. Örneğin; 5 kişi 1, 2, 3, 4, 5 olarak
sayılarla ifade edilebilir. Buradaki sayılar üzerinde aritmetik bir işlem yapmak anlamlı
olmayacaktır. Örnekteki sayılar sadece bir etiket görevi görecektir.

Oranlı ölçümlendirilmiş (ratio-scaled) değişkenler aralıklı ölçümlendirilmiş (interval-scaled) değişkenlere benzer olmakla beraber bu değişkende sıfır başlangıç noktası tüm ölçüm
araçlarında aynı anlamı taşır. Örneğin; bir varlığın ağırlığı için “sıfır” ifadesi kullanıldığında ölçüm metrik türüne bakılmadan bu varlığın ağırlığının olmadığı anlamı çıkarılır.
Diğer bir deyişle sıfır kilogram ve sıfır gram aynı anlamı taşır. Oranlı ölçümlendirilmiş
(ratio-scaled) değişkenler daha önce ele alınan değişken tiplerinin tüm özelliklerini içerir.
En büyük özelliği yokluk anlamına gelen belirli bir sıfır değerini barındırıyor olması bu nedenle ölçme düzeyleri arasında oransal analizler yapılabilmesine olanak tanıyor olmasıdır.

.
Veri hazırlama süreçlerinden biri olan veri temizleme verideki tutarsızlıkların giderilmesi ve verideki gürültünün giderilmesi için uygulanır. Veri dönüştürme olarak normalleştirme kullanılabilir. Veri birleştirme farklı kaynaktan gelen veriyi uygun bir veri tabanında birleştirir. Veri indirgeme ise fazla olan bazı değişkenlerin çıkarılması, birleştirilmesi veya kümeleme yaparak veri büyüklüğünün azaltılması amaçlanır. Veri yapısına uygun olacak şekilde bu süreçlerden biri veya birkaçı veri madenciliğinden önce uygulanarak elde edilen sonuçların kalitesi, güvenilirliği ve veri madenciliği aşamasında harcanacak zaman arttırılabilir.

Eksik verinin tahmin edilmesi için kullanılan başlıca stratejiler aşağıda verilmiştir.
• Eksik verinin el ile doldurulması; bu strateji zaman alıcıdır ve eksik verinin fazla
olduğu büyük veri kümelerinde kullanılması uygun değildir.
• Eksik verinin tamamlanmasında genel bir sabitin kullanılması; tüm eksik verinin
belirlenecek bir sabit değer ile değiştirilmesidir. Bu değişiklik uygulandığında veri
madenciliği algoritmalarını olumsuz etkileyebilir. Bu nedenle basit bir strateji olmasına rağmen tercih edilmez.
• Eksik verinin verinin özelliğin diğer veriler dikkate alınarak tamamlanması; bu
stratejide eksik veri, aynı özelliğin eksik olmayan kayıtları göz önüne alınarak ortalama, medyan, mod gibi verinin tamamını temsil eden tek bir değer ile değiştirilir.
• Eksik verinin kendi sınıfında yer alan değerlerin ortalaması ile tamamlanması; eksik verinin tamamlanması öncesinde veri üzerinde bir sınıflama çalışması yapılarak eksik verinin ait olduğu sınıflar belirlenir. Her eksik verinin bulunduğu sınıf
eksik olmayan özellik verilerinin ortalaması ile tamamlanır.
• Eksik verinin tamamlanmasında en uygun değerin kullanılması; eksik verinin
bulunduğu özelliğin en uygun değeri regresyon yönteminin kullanıldığı sonuç
çıkarmaya dayalı araçlar veya karar ağaçları kullanılarak belirlenebilir. Diğer stratejilere kıyasla bu strateji eksik veriyi tahmin etmede mevcut enformasyondan en
fazla faydalanan yöntemdir. Bu nedenle en sık kullanılan stratejidir.

Gürültü, veri madenciliği tekniği ile analiz edilmek istenilen verilerdeki beklenen
değerlerden sapan aykırı değerler veya hatalardır. Gürültülü veri büyük veritabanları ve
veri ambarlarında karşılaşılan yaygın problemlerdendir. Ölçülen bir değerdeki hata veya
hatalı veri toplama, veri girişi problemleri, teknolojik kısıtlar gibi yanlış nitelik değerleri
gürültülü verinin olası nedenleridir. Veri madenciliği uygulanmadan önce bu değerlerin
neden olduğu gürültü düzeltilmelidir. Verideki gürültünün belirlenip giderilmesi için
bölmeleme, kümeleme, bilgisayar ve insan denetiminin birleştirilmesi ve regresyon
yöntemleri kullanılabilir.

Veri kümeleri analizle ilgisi olmayan veya gereksiz yüzlerce özellik içerebilir. Gereksiz
olan özelliklerin indirgenmesi bir başka deyişle boyut indirgeme pek çok veri madenciliği
algoritmasının daha verimli çalışmasını, daha anlaşılabilir bir modelin oluşturulmasını,
verilerin daha kolay görselleştirilmesini ve veri madenciliği algoritmaları için gerekli
olan işlemci süresi ve hafızasını azaltır. İyi bir özellik alt kümesi asıl özelliklerden seçilir.

Genelleme; düşük düzeydeki verinin kavram hiyerarşisi kullanılarak daha yüksek
seviyeye dönüştürülmesidir. Örneğin; yaş gibi sayısal verilerin kategorik olan
genç, orta yaşlı veya yaşlı gibi değerlere dönüştürülmesi ya da cadde isimlerinden oluşan kategorik verilerin şehir veya ülke şeklinde daha yüksek kavramlara
dönüştürülmesidir

Normalleştirme veya standartlaştırma en çok kullanılan veri dönüştürme işlemidir.
Normalleştirmede enk-enb normalleştirme, z skor normalleştirme ve ondalık ölçekleme
yöntemleri kullanılır.

z-skor normalleştirme diğer dönüştürme yöntemleri içinde uygulamada en çok kullanılan dönüştürme yöntemidir. Bir değişkene (özellik) ilişkin aritmetik ortalama ve standart
sapma hesaplamasından sonra elde edilir. z-skor normalleştirme sonucunda veri sıfır ile
bir arasında sayısal bir değere dönüşür. Dönüştürme için aşağıdaki eşitlikten yararlanılır.

Özellik, hakkında bilgi edinilmek istenen canlı, cansız varlıklar veya olayların sahip oldukları ve birbirinden ayırt edilmesine yardımcı olan değişkenler veri madenciliğinde bir veri setinin sunumunda kullanılan tablo
gösteriminde sütunlarda yer alır.

Birimlerin sahip olduğu özelliklerin derecesinin belirlenerek sonuçların sayısal olarak ifade edilmesine ölçme adı verilir. Diğer bir deyişle gözlem ya da deney sonucunda elde edilen verilerin nicel olarak belirtilebilmesi amacıyla ölçmeye başvurulur

Bir nesnenin özelliklerinin ölçme şekline göre bir çok değişken tipi tanımlanabilir. Bu değişkenler şu şekilde sıralanabilir:

Oranlı ölçümlendirilmiş (ratio-scaled) değişkenler aralıklı ölçümlendirilmiş (interval-scaled) değişkenlere benzer olmakla beraber bu değişkende sıfır başlangıç noktası tüm ölçüm araçlarında aynı anlamı taşır. Örneğin; bir varlığın ağırlığı için “sıfır” ifadesi kullanıldığında ölçüm metrik türüne bakılmadan bu varlığın ağırlığının olmadığı anlamı çıkarılır. Diğer bir deyişle sıfır kilogram ve sıfır gram aynı anlamı taşır. Oranlı ölçümlendirilmiş (ratio-scaled) değişkenler daha önce ele alınan değişken tiplerinin tüm özelliklerini içerir. En büyük özelliği yokluk anlamına gelen belirli bir sıfır değerini barındırıyor olması bu nedenle ölçme düzeyleri arasında oransal analizler yapılabilmesine olanak tanıyor olmasıdır.

Veri temizleme için temel yöntemler eksik veri, gürültülü veri ve tutarsızlık olmak üzere üç temel başlıkta gruplanabilir.

Veri indirgeme yöntemleri olarak veri küpü birleştirme, boyut indirgeme, veri sıkıştırma ve büyük sayıların indirgenmesi yöntemleri ortaya çıkar.

Veri dönüşümünde verilerin veri madenciliği için uygun formlara dönüştürülmesi düzeltme, bir araya getirme, genelleme, normalleştirme ve özellik oluşturma işlemleriyle gerçekleştirilir.

Ondalık ölçekleme yönteminde değişkene (özellik) ilişkin gözlem değerlerinin ondalık bölümü hareket ettirilerek normalleştirme gerçekleştirilir. Hareket ettirilecek ondalık bölüm değişkenin maksimum mutlak değeri ile bağlantılıdır.

Market çalışanlarının yönetim katından en alt kademeye kadar sıralanması örneği sıra gösteren değişkene örnek olarak verilebilir.