VERİ MADENCİLİĞİ - Deneme Sınavı - 6

Normalleştirme veya standartlaştırma en çok kullanılan veri dönüştürme işlemidir.
Normalleştirmede enk-enb normalleştirme, z skor normalleştirme ve ondalık ölçekleme
yöntemleri kullanılır.

z-skor normalleştirme diğer dönüştürme yöntemleri içinde uygulamada en çok kullanılan dönüştürme yöntemidir. Bir değişkene (özellik) ilişkin aritmetik ortalama ve standart
sapma hesaplamasından sonra elde edilir. z-skor normalleştirme sonucunda veri sıfır ile
bir arasında sayısal bir değere dönüşür. Dönüştürme için aşağıdaki eşitlikten yararlanılır.

Özellik, hakkında bilgi edinilmek istenen canlı, cansız varlıklar veya olayların sahip oldukları ve birbirinden ayırt edilmesine yardımcı olan değişkenler veri madenciliğinde bir veri setinin sunumunda kullanılan tablo
gösteriminde sütunlarda yer alır.

Birimlerin sahip olduğu özelliklerin derecesinin belirlenerek sonuçların sayısal olarak ifade edilmesine ölçme adı verilir. Diğer bir deyişle gözlem ya da deney sonucunda elde edilen verilerin nicel olarak belirtilebilmesi amacıyla ölçmeye başvurulur

Bir nesnenin özelliklerinin ölçme şekline göre bir çok değişken tipi tanımlanabilir. Bu değişkenler şu şekilde sıralanabilir:

Oranlı ölçümlendirilmiş (ratio-scaled) değişkenler aralıklı ölçümlendirilmiş (interval-scaled) değişkenlere benzer olmakla beraber bu değişkende sıfır başlangıç noktası tüm ölçüm araçlarında aynı anlamı taşır. Örneğin; bir varlığın ağırlığı için “sıfır” ifadesi kullanıldığında ölçüm metrik türüne bakılmadan bu varlığın ağırlığının olmadığı anlamı çıkarılır. Diğer bir deyişle sıfır kilogram ve sıfır gram aynı anlamı taşır. Oranlı ölçümlendirilmiş (ratio-scaled) değişkenler daha önce ele alınan değişken tiplerinin tüm özelliklerini içerir. En büyük özelliği yokluk anlamına gelen belirli bir sıfır değerini barındırıyor olması bu nedenle ölçme düzeyleri arasında oransal analizler yapılabilmesine olanak tanıyor olmasıdır.

Veri indirgeme yöntemleri olarak veri küpü birleştirme, boyut indirgeme, veri sıkıştırma ve büyük sayıların indirgenmesi yöntemleri ortaya çıkar.

Veri dönüşümünde verilerin veri madenciliği için uygun formlara dönüştürülmesi düzeltme, bir araya getirme, genelleme, normalleştirme ve özellik oluşturma işlemleriyle gerçekleştirilir.

Ondalık ölçekleme yönteminde değişkene (özellik) ilişkin gözlem değerlerinin ondalık bölümü hareket ettirilerek normalleştirme gerçekleştirilir. Hareket ettirilecek ondalık bölüm değişkenin maksimum mutlak değeri ile bağlantılıdır.

Market çalışanlarının yönetim katından en alt kademeye kadar sıralanması örneği sıra gösteren değişkene örnek olarak verilebilir.

Alacağı değerler 0, 1, 2, ... gibi tamsayılar olarak belirtilebilen değişkenlerdir. Bu nedenletam sayılı değişkenlerin ondalıklı değerler alması söz konusu değildir.  Markette bir gün içinde satılan ekmek sayısı, belli bir depodaki koli sayısı ya da palet sayısı, bir ailedeki çocuk sayısı örnek olarak verilebilir. Tam sayılı değişkenlerle toplama, çıkarma ve çarpma işlemleri yapmak anlamlıdır.

Hava sıcaklığı nicel ölçme düzeyine sahiptir ve yokluk anlamına gelmeyen sıfır değeri bulunabilir. Buradaki sıfır ölçme düzeyi havada sıcaklığın olmadığı anlamına gelmez. Bu değişken için matematiksel işlemler uygun olmakla beraber oran hesaplamaları için uygun değildir.

Kategorik değişkenler grubunda isimsel (nominal), ikili (binary) ve sıra gösteren (ordinal) değişkenler girerken sürekli değişkenler grubuna tam sayılı (integer), aralıklı ölçümlendirilmiş (interval-scaled) ve oranlı ölçümlendirilmiş (ratio-scaled) değişkenler girer.

Kategorik değişkenler grubunda isimsel (nominal), ikili (binary) ve sıra gösteren (ordinal) değişkenler girerken sürekli değişkenler grubuna tam sayılı (integer), aralıklı ölçümlendirilmiş (interval-scaled) ve oranlı ölçümlendirilmiş (ratio-scaled) değişkenler girer.

Ölçülen bir değerdeki hata ve yanlış özellik değerleri ki bunlar; hatalı veri toplama gereçlerinden, veri girişi problemlerinden, veri iletimi problemlerinden, teknolojik kısıtlardan ve özellik isimlerindeki tutarsızlıktan gürültülü veri olarak tanımlanan veri oluşmasına neden olur.

Veri temizleme için temel yöntemler eksik veri, gürültülü veri ve tutarsızlık olmak üzere üç temel başlıkta gruplanabilir.

Veri indirgeme yöntemleri olarak; veri küpü birleştirme, boyut indirgeme, veri sıkıştırma ve büyük sayıların indirgenmesi yöntemleri ortaya çıkar. Aylık satış fiyatlarının yıllık temelde daha küçük veri seti haline dönüştürülmesi veri küpü birleştirmeye örnek olarak verilebilir.

R yazılımının “cluster.Sim” paketinde 16 tane veri normalleştirme yöntemi bulunmaktadır. Normalleştirme işlemini gerçekleştirmek için “data.Normalization(x,type=”n0”,normalization=”column”)” komutu kullanılır.