VERİ MADENCİLİĞİ

Kümeleme analizi genellikle dört aşamada uygulanmaktadır. Bunlar; veri matrisinin oluşturulması, benzerlik veya uzaklık matrislerinin hesaplanması, kümelemede esas alı­nacak yöntemlerin belirlenmesi ve elde edilen sonuçların yorumlanmasıdır.

Bu nedenle doğru yanıt a) seçeneğidir

Kümeleme yöntemleri; uzaklık (distance), benzerlik (similarity) ya da farklılık (dissimilarity) matrisinden yararlanarak birimleri ya da değişkenleri kendi içinde homojen ve kendi ara­larında heterojen uygun kümelere ayırırken, kümeleri belirlemede izledikleri yaklaşımlara göre iki temel alt gruba ayrılırlar. Bunlar; Aşamalı kümeleme yöntemleri (Hierarchical Clus­ter Analysis Methods) ve Aşamalı olmayan kümeleme yöntemleri (Nonhierarchical Cluster Analysis Methods) olarak ele alınmaktadır. Her iki yöntemde de ortak amaç kümeler ara­sındaki farklılıkları ve kümeler içi benzerlikleri en yüksek düzeye çıkarmaktır. Yani, küme içi homojenlik arttırılırken kümeler arası homojenlik ise azaltılmaktadır. Hangi tekniğin kullanılacağı küme sayısına bağlı olmakla birlikte her iki tekniğin birlikte kullanılması çok daha yararlıdır. Böylece hem sonuçları hem de iki tekniğin hangisinin daha uygun sonuçlar verdiğini karşılaştırmak mümkün olmaktadır. Bu iki yöntem dışında ileri sürülmüş bir takım kümeleme algoritmaları varsa da bu yöntemler yaygın kullanımı olan yöntemler değildir.

Bu nedenle doğru yanıt a) seçeneğidir

Literatürde en yakın komşuluk olarak da bilinen tek bağlantı kümeleme yöntemi, uzaklık matrisini kullanarak birbirine en yakın (uzaklık değerleri en küçük) birim ya da değişkenleri birleştirerek kümelerin oluşmasını sağlamaktadır. Bu yöntemin ilk aşamasın­da uzaklık matrisindeki en yakın (en küçük uzaklık) iki birim dikkate alınarak ilk küme oluşturulur. İkinci aşamada ise bir sonraki en küçük uzaklık belirlenir ve ilk oluşturulan kümeye bu birim ya da değişken eklenir ya da bu birim ile iki birimden oluşan yeni bir küme oluşturulur. İşlem, tüm birimler bir kümeye yerleşinceye kadar devam eder. Birleş­tirme yapılırken kümelerin eleman sayısının birden fazla olması koşulu yoktur. Tek bir birim de bir küme oluşturabilir. Bu yöntemde, m ve j kümeleri arasındaki uzaklık;

dmj=min (dkj, dlj)

biçiminde hesaplanmaktadır.

Bu nedenle doğru yanıt a) seçeneğidir

Bu yöntem, en uzak komşuluk olarak da bilinmektedir. Tek bağlantı kümeleme yöntemine çok benzemekle birlikte bu yöntemdeki tek farklılık oluşturulan her kümedeki eleman çiftleri arasındaki uzaklığın maksimum olanının ele alınmasıdır.

Bu yönteme tam bağlantı kümeleme yöntemi denmesinin nedeni, bir küme içindeki tüm birimlerin birbirlerine maksimum uzaklık veya minimum yakınlığa bağlı olmasıdır (Şekil 7.5). Tam bağlantı tekniğindeki uzaklıklar,

dmj=maks (dkj, dlj)

biçiminde hesaplanmaktadır.

Bu nedenle doğru yanıt b seçeneğidir

Sayfa 174-178 arasında yapılan analizler sonucunda elde edilen dendrogramın görüntülenmesi için ise plot(h,labels=x$Ulke) komutu kullanılır. Veri dosyasında bulunan ülke sütunundaki ülkelere ait isimlerin dendrogramda gösterimi için komutta bulunan labels=x$Ulke ifa­desi kullanılmıştır.

Bu nedenle doğru yanıt a) seçeneğidir

Aşamalı olmayan kümeleme yöntemleri birimlerin kendi içinde homojen ve kendi aralarında heterojen olan kümelere ayrılmasını hedefleyen ve elde edilen kümeler aracılığı ile alt toplum yapılarına ilişkin tahmin yapmayı amaçlayan yöntemlerdir. Aşamalı kümelemede hem birimler hem de değişkenler birbirleriyle farklı benzerlik düzeylerinde kümeler oluştururken, aşamalı olmayan kümeleme yöntemlerinde sadece birimler kümelenmektedir. Birbirleri ile benzer birimlerin aynı kümede toplanması koşuluyla veri setindeki n birimin k sayıda kümeye ayrılması amaçlanmaktadır. Bu yöntemlerde küme sayısı önceden belirlenir. Diğer bir ifadeyle, eğer oluşturulacak küme sayısı ile ilgili olarak önsel bir bilgi var ise aşamalı olmayan kümeleme yöntemleri kullanmak daha çok tercih edilmektedir. Örneğin; kabul gören sağlık veya ekonomik göstergeler bakımından ülkeler 4 farklı kümeye ayrılmak istenilebilir. Bu kümeler ise, geri kalmış, az gelişmiş, gelişmekte olan, gelişmiş ülkeler olarak isimlendirilebilir.

Aşamalı kümeleme yöntemleri daha çok küçük veri setleri için uygundur. Buna karşılık aşamalı olmayan kümeleme yöntemleri ise daha çok büyük veri setlerine uygulanmaktadır. Bunun nedeni aşamalı olmayan kümeleme yöntemlerinde başlangıçta benzerlik ve uzaklık matrislerinin hesaplanmamasıdır. Ayrıca aşamalı olmayan kümeleme yöntemleri veri setinde bulunan aşırı uç değerlerden daha az etkilenmektedir.

Aşamalı olmayan Kümeleme Yöntemleri arasında en yaygın kullanılan yöntem K-ortalamalar kümeleme (k-means clustering, MacQueens’ Method) yöntemidir. Bu yöntem birçok istatistik hazır yazılımda bulunmaktadır. Bunun dışında Medoid kümeleme ve Fuzzy kümeleme gibi aşamalı olmayan kümeleme yöntemleri de bulunmaktadır.

Bu nedenle doğru yanıt a) seçeneğidir

K-Ortalamalar Kümeleme Yöntemi sadece birimleri kümelemekte kullanılan bir yöntemdir.

Birimlerin k-ortalamalar yöntemi ile kümelenmesi için uzaklık matrisi ya da benzerlik matrisi hesaplamak gerekmemektedir. Verilerin kümelenmesinde kullanılacak olan küme sayısını önceden belirlemek yeterlidir. Küme sayısını belirlemek için ise farklı yaklaşımlar bulunmaktadır. Bunlar;

Aşamalı kümeleme yöntemlerinden elde edilen dendrogramları inceleyerek karar vermek,

Olasılıklı olarak başlangıç noktalarını rassal olarak belirlemek,

Ardışık olarak (Küme sayısı 2, 3, 4, ..., k biçiminde) her seferinde küme sayısını bir artırarak oluşan kümelemede birimlerin hangi kümeye ait olduğuna ilişkin küme üyeliklerini belirlemek. Yeni veri yapısına Ayırma (Discriminant) Analizi uygulamak ve en yüksek önemliliği bulunan Wilk’s Lamda değerine sahip olan küme sayısını, uygun kümeleme olarak kabul etmek,

İlk nb birimin değişkenlere ait ortalamalarını başlangıç ortalama vektörü olarak ele alıp birimleri bu kümelere atama yaklaşımlarından birini seçmek,

Farklı rastgele başlatma konfigürasyonları seçerek küme sayısını bulmak,

Bu nedenle doğru yanıt a) seçeneğidir

Birleştirici aşamalı kümeleme yöntemlerinde, birimlerin birbirleri ile birleştirilmesinde farklı yöntemler kullanılmaktadır. Bunlardan sıklıkla kullanılan ve genel kabul görmüş olanları aşağıdaki gibi sayılabilir.

Bu nedenle doğru yanıt a) seçeneğidir

Kümeleme analizinde sonuçlar dendrogram (ağaç diyagramı) adı verilen grafiksel yön­temle sunulurlar. Dendrogramlarda bağlantılar, uzaklıklar ve birimlerin bağlanma düzey­leri bir ağaç biçiminde ele alınarak şekillendirilir ve kümelenme süreci bu şekilde ayrıntılı bir biçimde özetlenir. Genellikle dendrogramlar; x ekseninde birimler ve y ekseninde de uzaklıklar olacak şekilde yapılandırılırlar.

Dendrogramlarda değişkenlerin ya da birimlerin hangi aşamada ve hangi uzaklık ya da benzerlik düzeyinde bir araya gelerek küme oluşturdukları ayrıntılı biçimde görülmek­tedir.

Bu nedenle doğru yanıt a) seçeneğidir

Kümeleme, veri setinde bulunan gözlemlerin ya da değişkenlerin kendi aralarındaki benzerlikleri göz önünde bulundurularak gruplandırılması işlemidir. Kümeleme yöntemlerinin çoğu veri arasındaki uzaklıkları kullanır. Uygulamada çok sayıda kümeleme yöntemi kullanılmaktadır. Bu yöntemler, değişkenler arasındaki benzerliklerden ya da farklılıklardan yararlanarak bir veri setini alt kümelere ayırmak için kullanılmaktadır. Kümeleme analizinin amacı, gruplanmamış verileri benzerliklerine göre sınıflandırmak ve araştırmacıya özetleyici bilgiler elde etmede yardımcı olmaktır.

Sınıflandırma, veri madenciliğinde sıklıkla kullanılmaktadır. Üzerinde çalışılan veritabanının bir kısmı eğitim seti olarak ele alınır ve buradan hareketle sınıflandırma kuralları oluşturulur. Bu kurallar yardımıyla yeni bir durum ortaya çıktığında nasıl karar verileceği belirlenir. Veri madenciliği yönteminin sınıflandırma grubu içerisinde en sık kullandığı teknik “karar ağaçları”dır. Aynı zamanda lojistik regresyon, diskriminant analizi, sinir ağları ve fuzzy setleri de sıklıkla kullanılmaktadır. İnsanlar yüzyıllardır verileri sınıflandırdıkları, kategorize ettikleri ve derecelendirdikleri için sınıflandırma, işlemi hem veri madenciliğinin temeli olarak hem de veri hazırlama aracı olarak kullanılmaktadır.

Kümeleme analizi genellikle dört aşamada uygulanmaktadır. Bunlar; veri matrisinin oluşturulması, benzerlik veya uzaklık matrislerinin hesaplanması, kümelemede esas alınacak yöntemlerin belirlenmesi ve elde edilen sonuçların yorumlanmasıdır.

Birleştirici (agglomerative) aşamalı kümeleme yöntemleri, başlangıçta veri setinde bulunan tüm birimlerin farklı birer küme oluşturduğu kabul edilerek analize başlanır. Veri setinde bulunan n birimi aşamalı olarak sırasıyla; n küme, n-1 küme, n-2 küme, ..., n-r küme, ..., 3 küme, 2 küme, 1 kümeye yerleştirmeyi amaçlayan bir yaklaşımdır. Bu yöntemde, her birim başlangıçta tek başına farklı birer küme olarak kabul edilir. Daha sonra birbirleri ile yüksek derecede benzerlik gösteren iki birim, bir küme oluşturur. Bir sonraki adımda bu kümeye farklı benzerlik düzeylerinde diğer birimler eklenerek birimlerin tamamı bir kümede toplanacak biçimde birbirleri ile bağlanırlar(birleştirilirler, kümelenirler).

Ayırıcı (divisive) aşamalı kümeleme yöntemlerinde, başlangıçta veri setinde bulunan tüm birimlerin bir küme olduğu varsayılarak analize başlanır. Diğer bir ifadeyle işlem, birleştirici aşamalı kümeleme yönteminde olan aşamaların tam tersine işler. İlk olarak tüm birimleri içeren büyük bir küme ele alınır. İzleyen aşamalarda en farklı (uzak) birimler birbirinden ayrılarak daha küçük kümeler oluşturulur. Bu aşamalar her birim kendi başına farklı bir küme oluşturuncaya kadar devam eder. Veri setinde bulunan n birimi sırasıyla aşamalı olarak 1 küme, 2 küme, 3 küme, ... , n-r küme, n-3 küme, n-2 küme, n-1 küme, n kümeye ayırmayı amaçlayan bir yaklaşımdır.

Birleştirici aşamalı kümeleme yöntemlerinde, birimlerin birbirleri ile birleştirilmesinde
farklı yöntemler kullanılmaktadır. Bunlardan sıklıkla kullanılan ve genel kabul görmüş
olanları aşağıdaki gibi sayılabilir.
• Tek Bağlantı Kümeleme Yöntemi (TekBKY, SINGLE Linkage [SLINK], En Yakın
Komşuluk, Nearest Neighbour Method)
• Tam Bağlantı Kümeleme Yöntemi (TamBKY, COMPLETE linkage Method
[CLINK], Furthest Neighbor Method)
• Ortalama Bağlantı Kümeleme Yöntemi (OrtBKY, AVERAGE Linkage Method,
[ALINK])
• McQuitty Bağlantı Kümeleme Yöntemi (McQuitty linkage Method)
• Küresel Ortalama Bağlantı Kümeleme Yöntemi (KOBKY, CENTROID linkage
Method)
• Medyan Bağlantı Kümeleme Yöntemi (MBKY, MEDIAN linkage Method)
• Ward Bağlantı Kümeleme Yöntemi (WBKY, WARD linkage Method, En Küçük
Varyans Kümeleme Yöntemi)

McQuitty bağlantı kümeleme yönteminde; m. kümenin oluşumunda k. ve l. kümelerin j.
küme ile olan uzaklıkları toplamının yarısı (ortalaması) hesaplanır. Ağırlıksız ortalama
bağlantı yöntemi ismi ile de literatürde sıklıkla kullanılmaktadır.

Ward Bağlantı Kümeleme Yöntemi, küresel ortalama ve medyan bağlantı kümeleme yöntemlerinin karma şeklidir.
Küme içi varyansın minimum olduğu kümeler belirlenir ve bu doğrultuda kümeler oluşturulur. Minimum varyans yöntemi olarak da bilinen bu yaklaşım, bir kümede yer alan bir birimin, aynı kümenin içinde bulunan birimlerden ortalama uzaklığını dikkate almaktadır. Küme bağlantılarından ziyade küme içi kareler toplamı dikkate alınmaktadır. Bu yöntem, az birimli kümeleri birleştirme eğilimindedir. Ayrıca bu yöntemin birbirine eşit sayıda birim içeren kümeler oluşturma gibi bir eğilimi de vardır. Bundan dolayı, araştırmacının kümelerdeki birim sayılarının benzer (yakın) olduğu beklentisi durumunda bu yönteme başvurması önerilmektedir. Aşırı değerlerden etkilenmektedir. Sıklıkla kullanılan aşamalı kümeleme yöntemidir.

Birimlerin kendi içinde homojen ve kendi aralarında heterojen olan kümelere ayrılmasını hedefleyen ve elde edilen kümeler aracılığı ile alt toplum yapılarına ilişkin tahmin yapmayı amaçlayan yöntemler aşamalı olmayan kümeleme analizi yöntemleridir.

Kümeleme, veri setinde bulunan gözlemlerin ya da değişkenlerin kendi aralarındaki benzerlikleri göz önünde bulundurularak gruplandırılması işlemidir.

Verilerin standardize edilmesi ve belirli aralıklardaki değerlere dönüştürülmesi için en çok kullanılan yöntemler; z skorlarına dönüştürme, -1≤x≤1 aralığına dönüştürme, 0≤x≤1 aralığına dönüştürme, serideki maksimum değer 1 olacak şekilde dönüştürme, ortalama değer 1 olacak şekilde dönüştürme, standart sapma 1 olacak şekilde dönüştürme yöntemleridir.