VERİ MADENCİLİĞİ

yapı geçerliliği analizleri

Web Madenciliğinde, sunucu veritabanı 10 milyon iş içerirmesine rağmen işleme süreci kısadır. Veri gizli değildir. Sadece kayıt dosyalarına erişebilmek için izin gerekir. Çevrimiçi veriler kullanılır.

İnternet ortamından yararlı bilginin keşfi için, web madenciliği sürecini dört temel adımda ele alabiliriz.
1. Kaynakların Tespiti: İlglenilen konuda bilgi içeren web dokümanlarının belirlenmesi ve elde edilmesi.
2. Bilgi Seçimi ve Ön İşleme: Elde edilen kaynaklardan ihtiyaç duyulan bilginin otomatik olarak seçilmesi ve kullanılabilir hâle getirilmesi.
3. Genelleştirme: Bireysel web sitelerindeki örüntü (pattern) veya kuralların otomatik olarak çıkarılması ve diğer web siteleri ile karşılaştırarak genellenmesi.
4. Analiz: Elde edilen genel örüntü veya kuralların doğruluklarının onaylanması ve/veya yorumlanması.

Webden bilgi çıkarım uygulamalarında genel olarak karşılaşılan sorunlarda sorgu tabanlı internet taramalarının iki ana sorunu vardır. Birincisi konuyla alakasız birçok sayfanın sıralanmasına neden olan düsük hassasiyet, ikincisi ise web sayfalarının indekslenme kapasitesinin azlığından kaynaklanan düşük duyarlılıktır. Arama motorları çoğunlukla bir ya da birkaç kelime üzerinden aramayı gerçekleştirir. Bazen bu kelime(ler) içerisinde eş sesli (sesteş) kelimelerin olmasından dolayı araştırılan konunun dışında sonuçlarla karşılaşılır. Yani kelimenin bütün içerisindeki anlamı çoğunlukla dikkate alınmaz.

Web madenciliğinde karşılaşılan zorluklar;
• Web sayfalarının karmaşıklığı
• Webin büyüklüğü
• Bilginin bağlantısı
• Bilginin dinamikliği
• Kullanıcı iletişiminin çeşitliliği

Web ortamındaki veri miktarı aşırı büyüklüktedir. Web ortamındaki veri dağınık ve heterojen bir yapıdadır. Web ortamındaki veri yapılandırılmamıştır. Web ortamındaki veri dinamiktir.

İnternette yer alan bilgiler farklı veri türlerini barındırdıkları için web madenciliği, veri madenciliği sürecinde kullanılan web verilerinin türüne göre Web İçerik Madenciliği, Web Yapı Madenciliği ve Web Kullanım Madenciliği şeklinde sınıflandırılır.

Metin şeklinde sunulan içerigin analizi metin madenciliği olarak adlandırılır ve günümüzde en çok araştırılan web içerik madenciliği alanlarından birisidir. Resim, ses ve görüntü vb. gibi kaynaklardan yararlı bilginin çıkarılması ise multimedya madenciliği olarak ifade edilmektedir. Bu alanda da başta görüntü işleme olmak üzere birçok teknik geliştirilmektedir.

Web yapı madenciliği, web sitesinin yapısal özetini yani kendi içerisindeki sayfalarla ve diğer sitelerle olan bağlantı yapılarını elde ederek, bu yapılardan yararlı bilginin ortaya çıkarılması olarak tanımlanır.

İnternette herhangi bir kaynağa erişim sağlandığında tarayıcı veya sunucular tarafından bir takım veriler kayıt altına alınır. Bunlar sunucular tarafından depolanan kullanıcı erişim kayıtları, tarayıcı kayıtları, kullanıcı profilleri, çerezler, fare tıklamaları, sayfa kaydırmaları, sayfa içerik özellikleri vb. gibi kayıtlardır. Web kullanım madeniliği, kullanıcıdan elde edilen bu bilgiler aracılığı le kullanıcıların internet gezinme alışkanlıklarını analiz ederek kişiye özel modeller olusturmayı amaçlar.

Web kullanım madenciliğini temel uygulama alanları;
Kişiselleştirme (Personalization)
Sistem Geliştirme (System Improvement)
Web Sitesi Güncelleme (Site Modificaton)
İş Zekası (Business Intelligence)
Kullanım Karakteristiği (Usage Characterization)

Veritabanı, büyük miktardaki bilgileri depolamada yetersiz kalan dosya-işlem sistemine alternatif olarak geliştirilen ve
birbirleriyle ilişkili bilgilerin depolandığı alandır.

Veri madenciliği,
i. Verinin elde edilmesi
ii. Verinin saklanması ve yönetimi
iii. Veri erişiminin sağlanması
iv. Verinin analiz edilmesi
v. Analiz sonuçlarının anlaşılır bir biçimde sunulması temel adımlarından oluşan bir süreçtir.

Uygulama alanlarına göre web ve veri madenciliği arasındaki bazı farklar bulunmaktadır.  

Web Madenciliği                                          

• E-öğrenme
• Dijital Kütüphaneler
• E-Devlet
• Elektronik Ticaret
• E-Siyaset
• E-Demokrasi
• Güvenlik ve Suç Soruşturması vb.

Veri Madenciliği

• Bankacılık
• Pazarlama
• İmalat
• Sağlık
• Sigorta
• Hukuk
• Hava yolları
• Bilgisayar donanımı ve yazılımı
• Hükümet ve savunma vb.

İnternet ortamından yararlı bilginin keşfi için, web madenciliği sürecini dört temel
adımda ele alabiliriz.
1. Kaynakların Tespiti: İlgilenilen konuda bilgi içeren web dokümanlarının belirlenmesi ve elde edilmesi.
2. Bilgi Seçimi ve Ön İşleme: Elde edilen kaynaklardan ihtiyaç duyulan bilginin otomatik olarak seçilmesi ve kullanılabilir hâle getirilmesi.
3. Genelleştirme: Bireysel web sitelerindeki örüntü (pattern) veya kuralların otomatik olarak çıkarılması ve diğer web siteleri ile karşılaştırarak genellenmesi.
4. Analiz: Elde edilen genel örüntü veya kuralların doğruluklarının onaylanması veya yorumlanması.

Web madenciliği web doküman ve servislerindeki yararlı bilgileri otomatik olarak ayıklamak ve elde etmek için veri madenciliği tekniklerini kullanır. İnternette yer alan bilgiler farklı veri türlerini barındırdıkları için web madenciliği, veri madenciliği sürecinde kullanılan web verilerinin türüne göre Web İçerik Madenciliği, Web Yapı Madenciliği ve Web Kullanım Madenciliği şeklinde sınıflandırılır.

Web içerik madenciliğinin uygulandığı alanlara göre kullanılan iki yaklaşım vardır.

i. Bilgiye Erişim Yaklaşımı: Kullanıcı profili temel alınarak kullanıcılara sunulacak bilgileri filtrelemek, sınıflandırmak ve kullanıcı profil bilgilerini geliştirmek için kullanılan yaklaşımdır. Bilgiye erişim yaklaşımında yararlanılan temel teknik, arama motorları tarafından kullanılan web aramalarıdır. Web aramalarının ana veri kaynağı ise web sayfalarının içerdikleri metinlerdir. Bu yaklaşım ile web sayfalarının sınıflandırılması ve aynı içeriğe sahip sayfaların listelenmesi sağlanabilir.

ii. Veritabanı Yaklaşımı: Webdeki veriyi veritabanına kaydederek modellemek ve veriyi bütünleştirerek daha karmaşık bilgilerin yönetilmesi için kullanılan yaklaşımdır. Bu yaklaşım sayesinde webde yer alan veriler sınıflanarak veya kümelenerek modellenmek suretiyle veritabanları ve veri ambarları oluşturulur. Bu sayede de anahtar kelime tabanlı arama yerine daha gelişmiş sorgular çalıştırmak mümkün olur.

Atıf analizi, akademik olarak yazarlar ile yayınları arasındaki ilişkiyi kurmak için yapılan alıntıları inceleyen bir araştırma alanıdır. Bir yayın başka bir yayından alıntı yaptığında bu iki yayın arasında bir ilişki veya bağlantı kurulmuş olur. Dolayısıyla atıf analizinde de bu bağlantılar incelenerek yayınların önem düzeyleri ortaya konulmaya çalışılır.

Yapılacak analizler sonucunda elde edilecek veya keşfedilecek örüntülerin kullanılabilir yararlı bir bilgi olabilmesi için;
• İnsanlar tarafından kolayca anlaşılabilir olması
• Daha önceden keşfedilmemiş olması
• Belirli bir oranda geçerliliğinin sağlanmış olması
• İhtiyaçları karşılayan ve kullanılabilir olması gerekir.

Günümüzde kullanılmakta olan sosyal medya hizmetlerini temel olarak izleyen biçimde sınıflandırmak mümkündür.
1. Genel amaçlı veya arkadaş tabanlı: Bu hizmetler belirli bir konu üzerine odaklanmayan arkadaşlık temeline dayanan paylaşım hizmetleridir.
2. Bilgilendirici: Bu hizmetlerin amacı günlük sorunlara yanıtlar sunmaktır.
3. Mesleki: Bu hizmetler kariyer veya meslek planlamasında yeni fırsatlar edinmek için kullanılır.
4. Eğitim: Bu hizmetler öğrencinin deneyimini geliştirmek için kullanılır.
5. Hobiler: Bu hizmetler aynı şeylere ilgi duyan insanlar için bir buluşma noktasıdır.
6. Akademik: Bu hizmetler akademik ve bilimsel çalışmalar için güncel bilgi kaynağına erişim sunan hizmetlerdir.
7. Haberler: Bu hizmetler tüm toplumu ilgilendiren haber yayıncılığına ilişkin hizmetlerdir.