VERİ MADENCİLİĞİ - Deneme Sınavı - 7

Aykırı değerler kümeleme analizi ile ortaya çıkarılabilir.

Şema birleştirme iki farklı kaynaktan gelen verilerin eşleştirilmesi için aynı varlıklar belirlenerek veriler şemalar yardımıyla birleştirilir.

X(norm)= (10-5)/(25-5)=0.25 olur

Söz konusu amaçla yapılan bir çok işlem, bir bütün olarak veri hazırlama adını alır.

Sınıf düzeyi tam sayılar alabileceğinden, integer bir değişken türüdür.

Veri setinde eksik verilerin el ile doldurulması, eğer veri setinde çok fazla kayıp veri var ise hemen çok zaman alıcı olacaktır, hem de yanlılığa, yanlış sonuçlara ulaşılmasına neden olabilecektir.

Veri setinde analiz sonuçlarını etkileyebilecek aykırı değerlerin olması, "gürültü" olarak adlandırılır.

Veri birleştirme işlemiyle farklı yerlerde olan veri setleri bir araya getirilerek, aynı amaçla kullanılmaya hazır hale getirilmiş olur.

Kümeleme, düzeltme işlemlerinde kullanılan bir metottur.

Veri setindeki en büyük ve en küçük sayılara dayalı olarak kullanılan yöntem ENK-ENB yöntemidir.

Değişkenlerin -3, +3 aralığındaki değerlere doğrusal dönüşüm işlemi, standart sapma ve artimetik ortalama ile yapılan  Z-skor işlemidir.

Sıkıştırma, veri indirgeme yöntemlerinden biridir.

Veri madeninde bulunan veri insan tarafından oluşturulmuş bir bilgisayar dosyasından, verileri tasarlamak ve yönetmek için kullanılan bir işletme veri tabanı yönetim sisteminden, standart bir veri tabanı sisteminden, otomatik bilgi kaydı oluşturan bir araçtan, uydu üzerinden ve bunlara benzer şekilde kaynaklardan gelmiş olabilir. Farklı kaynaklardan gelen veri geliş kaynağının özelliğine göre çok çeşitli yapılarda, şekillerde ve tiplerde bulunabilir. Bu yapıdaki veri büyük olmasının yanı sıra çeşitli hatalar, kayıp değerler veya aykırı değerler içeriyor olabilir. Bir madenden çıkarılmayı bekleyen değerli taşlar gibi bu veri de çeşitli analizlerde kullanılmak üzere veritabanında bekler.

İsimsel (Nominal) Değişkenler
Sınıflayıcı ölçek, gözlem değerlerinin tek tek nitel kategori ya da sınıflara atanması sonucu oluşan ölçektir. Daha önce verilen bir markette satılan ürünlerin türlerine göre
sınıflanması örneğinde sınıflayıcı ölçek kullanılır. Cinsiyet sınıflaması veya hastaneye
başvuran hastaların rahatsızlıklarına göre sınıflandırılması sınıflayıcı ölçeğe örnek olarak verilebilir.
İsimsel değişken sayısal bir formda olabilir. Ancak bu sayısal değer matematiksel bir
hesaplama ya da işlem yapmak için uygun değildir. Örneğin; 5 kişi 1, 2, 3, 4, 5 olarak
sayılarla ifade edilebilir. Buradaki sayılar üzerinde aritmetik bir işlem yapmak anlamlı
olmayacaktır. Örnekteki sayılar sadece bir etiket görevi görecektir.

Oranlı ölçümlendirilmiş (ratio-scaled) değişkenler aralıklı ölçümlendirilmiş (interval-scaled) değişkenlere benzer olmakla beraber bu değişkende sıfır başlangıç noktası tüm ölçüm
araçlarında aynı anlamı taşır. Örneğin; bir varlığın ağırlığı için “sıfır” ifadesi kullanıldığında ölçüm metrik türüne bakılmadan bu varlığın ağırlığının olmadığı anlamı çıkarılır.
Diğer bir deyişle sıfır kilogram ve sıfır gram aynı anlamı taşır. Oranlı ölçümlendirilmiş
(ratio-scaled) değişkenler daha önce ele alınan değişken tiplerinin tüm özelliklerini içerir.
En büyük özelliği yokluk anlamına gelen belirli bir sıfır değerini barındırıyor olması bu nedenle ölçme düzeyleri arasında oransal analizler yapılabilmesine olanak tanıyor olmasıdır.

.
Veri hazırlama süreçlerinden biri olan veri temizleme verideki tutarsızlıkların giderilmesi ve verideki gürültünün giderilmesi için uygulanır. Veri dönüştürme olarak normalleştirme kullanılabilir. Veri birleştirme farklı kaynaktan gelen veriyi uygun bir veri tabanında birleştirir. Veri indirgeme ise fazla olan bazı değişkenlerin çıkarılması, birleştirilmesi veya kümeleme yaparak veri büyüklüğünün azaltılması amaçlanır. Veri yapısına uygun olacak şekilde bu süreçlerden biri veya birkaçı veri madenciliğinden önce uygulanarak elde edilen sonuçların kalitesi, güvenilirliği ve veri madenciliği aşamasında harcanacak zaman arttırılabilir.

Eksik verinin tahmin edilmesi için kullanılan başlıca stratejiler aşağıda verilmiştir.
• Eksik verinin el ile doldurulması; bu strateji zaman alıcıdır ve eksik verinin fazla
olduğu büyük veri kümelerinde kullanılması uygun değildir.
• Eksik verinin tamamlanmasında genel bir sabitin kullanılması; tüm eksik verinin
belirlenecek bir sabit değer ile değiştirilmesidir. Bu değişiklik uygulandığında veri
madenciliği algoritmalarını olumsuz etkileyebilir. Bu nedenle basit bir strateji olmasına rağmen tercih edilmez.
• Eksik verinin verinin özelliğin diğer veriler dikkate alınarak tamamlanması; bu
stratejide eksik veri, aynı özelliğin eksik olmayan kayıtları göz önüne alınarak ortalama, medyan, mod gibi verinin tamamını temsil eden tek bir değer ile değiştirilir.
• Eksik verinin kendi sınıfında yer alan değerlerin ortalaması ile tamamlanması; eksik verinin tamamlanması öncesinde veri üzerinde bir sınıflama çalışması yapılarak eksik verinin ait olduğu sınıflar belirlenir. Her eksik verinin bulunduğu sınıf
eksik olmayan özellik verilerinin ortalaması ile tamamlanır.
• Eksik verinin tamamlanmasında en uygun değerin kullanılması; eksik verinin
bulunduğu özelliğin en uygun değeri regresyon yönteminin kullanıldığı sonuç
çıkarmaya dayalı araçlar veya karar ağaçları kullanılarak belirlenebilir. Diğer stratejilere kıyasla bu strateji eksik veriyi tahmin etmede mevcut enformasyondan en
fazla faydalanan yöntemdir. Bu nedenle en sık kullanılan stratejidir.

Gürültü, veri madenciliği tekniği ile analiz edilmek istenilen verilerdeki beklenen
değerlerden sapan aykırı değerler veya hatalardır. Gürültülü veri büyük veritabanları ve
veri ambarlarında karşılaşılan yaygın problemlerdendir. Ölçülen bir değerdeki hata veya
hatalı veri toplama, veri girişi problemleri, teknolojik kısıtlar gibi yanlış nitelik değerleri
gürültülü verinin olası nedenleridir. Veri madenciliği uygulanmadan önce bu değerlerin
neden olduğu gürültü düzeltilmelidir. Verideki gürültünün belirlenip giderilmesi için
bölmeleme, kümeleme, bilgisayar ve insan denetiminin birleştirilmesi ve regresyon
yöntemleri kullanılabilir.

Veri kümeleri analizle ilgisi olmayan veya gereksiz yüzlerce özellik içerebilir. Gereksiz
olan özelliklerin indirgenmesi bir başka deyişle boyut indirgeme pek çok veri madenciliği
algoritmasının daha verimli çalışmasını, daha anlaşılabilir bir modelin oluşturulmasını,
verilerin daha kolay görselleştirilmesini ve veri madenciliği algoritmaları için gerekli
olan işlemci süresi ve hafızasını azaltır. İyi bir özellik alt kümesi asıl özelliklerden seçilir.

Genelleme; düşük düzeydeki verinin kavram hiyerarşisi kullanılarak daha yüksek
seviyeye dönüştürülmesidir. Örneğin; yaş gibi sayısal verilerin kategorik olan
genç, orta yaşlı veya yaşlı gibi değerlere dönüştürülmesi ya da cadde isimlerinden oluşan kategorik verilerin şehir veya ülke şeklinde daha yüksek kavramlara
dönüştürülmesidir