Algoritmik Yöntemler, Sosyal Medya ve Büyük Veri

Verileşme (datafication) “enstrümanlar, sensörler, İnternet işlemleri, e-posta, video, tıklama akışları ve/veya bugün ve gelecekte mevcut olan diğer tüm dijital kaynaklardan oluşturulan geniş, çeşitli, karmaşık, uzunlamasına ve/veya dağıtılmış veri kümelerini” kapsar

Nicel veri (Quantitative data) birimlerin ölçüm ve tartım sonucu değerleri saptanan sayısal özelliklerini belirten, aralıklı ölçekli veya orantılı ölçekli değişkenler. Bir deneyin sayılabilir, ölçülebilir özelliğini veren verilerdir. Sürekli nicel veri ve kesikli nicel veri olmak üzere iki türü vardır.

•Sürekli nice lveri:Ondalıklı değerler alabilen nicel verilerdir. Boy uzunluğu, kilo,vs..

•Kesikli nicel veri:Sayılarak elde edilen ve tam sayılı değerlerdir. Nüfus, öğrenci sayısı, hane halkı sayısı

Belli bir düzene ve formata sahip olmayan, bu sebeple de analiz edilebilmesi için belli kriterlere göre düzenlenmesi ve bir formata sokulması gereken veri topluluklarına yapılandırılmamış veriler denilir.

Web kazıma ile veri toplamak 2 aşamadan oluşur:

•Web Taraması: Genelde “örümcek” olarak adlandırdığımız bir web tarayıcısı, aradığımız içeriği araştırmak için interneti tarayan ve linkleri toplayan bir yazılımdır.

•Web Kazıması: Bir web kazıyıcı, bir web sayfasından verileri doğru ve hızlı bir şekilde çıkarmak için tasarlanmış özel bir araçtır. Web kazıyıcıları, belirlediğiniz hedefe bağlı olarak tasarım ve karmaşıklık bakımından geniş ölçüde farklılık gösterir.

UPA, web uygulaması, işletim sistemi, veritabanı, donanımlar yahut yazılım kütüphanelerine erişmek için kullanılır. Esasen UPA’ları herhangi bir veri kaynağına kontrollü ve gerçek zamanlı erişim sağlayan arayüzler olarak tanımlamak mümkün

1967’de Harvard Üniversitesi psikoloğu Stanley Milgram, Amerika Birleşik Devletleri’ndeki herhangi iki insan arasındaki sosyal mesafeyi ölçmeye çalışan bir dizi deney sonucudur.

Bu gözlemden yola çıkarak Milgram, “Altı Derece Ayrılık” teorisini ortaya attı. Bu teoriye göre sizinle dünyadaki herhangi birine, yani aklınıza gelebilecek herkese en fazla 6 arkadaş kadar uzaksınız.

Çoğu ticari platform tarafından kullanılan yaklaşım olan Bag of Words, aynı zamanda tüm DDİ dil modellerinin en basitidir. Makine öğrenimi (önceden negatif veya pozitif olarak belirlenmiş) kelimeleri saymak için kullanılır ve sayıya dayalı bir puan verilir. Kelime tabanlı modeller arasında bu model yaklaşımı sığlığı ile sınırlıdır. Ek olarak, sözcükleri olumlu veya olumsuz olarak belirlemek, sürece bir öznellik ölçüsü getirir. Zengin, anlamsal, bağlamsal ayrıntılar kaybolur; kelime sırası, gramer ve diğer unsurlar dikkate alınmaz.

Nitel veriler, belli
bir yapısal özelliğe sahip olup olmadıklarına göre
simgelenen verilerdir. Nitel veriler konvansiyonel
araştırma yöntemlerine göre sayılabilir ama ölçülmez. Birimlere dayalı ölçülmezler ve sayılarak değerleri, yoğunlukları belirtilebilen, belli bir yapısal
özelliği, farklılığı taşımakla (veya taşımamakla)
simgelenen verilerdir.

Belli bir düzene ve formata sahip olmayan, bu sebeple de analiz edilebilmesi için
belli kriterlere göre düzenlenmesi ve bir
formata sokulması gereken veri topluluklarına yapılandırılmamış veriler denilir.

• Metin dosyaları

• E-posta

• Web ve Sosyal Medya

• İletişim teknolojileri ve mobil veri

• Medya

• Tüm gözetim ve görüntüleme sistemleri tarafından toplanan, iletilen ya da üretilen veriler

• Bilimsel gözlem sonucu ulaşılan veriler:

Yarı yapılandırılmış veriler, belirli veri özelliklerini tanımlamak ve verileri kayıtlara ve önceden
ayarlanmış alanlara ölçeklemek için “meta verileri”
(örneğin etiketler ve anlamsal işaretleyiciler) kullanır.
Meta veriler nihayetinde yarı yapılandırılmış verilerin yapılandırılmamış verilere kıyasla daha iyi kataloglanmasını, aranmasını ve analiz edilmesini sağlar

Veri kazıma, yasal olarak gri bir alanda bulunmaktadır. Kazıma yöntemiyle veri toplamak, bazı
web sitelerinin kullanım koşullarına aykırı olabilir.
Hukuki olarak Robots.txt dosyalarındaki kurallara
uymak, yasal zorunluluktur. Telif yasaları gereği kazıma yöntemi ile elde edilen veriler, ticari faaliyetler
için kullanılamaz. Benzer biçimde kazıma yoluyla
elde edilen veriler başka kurumlara satılamaz

• Kullanıcı bilgisi
• Herkese açık profil bilgileri
• Konum
• Arkadaşlar ve takipçiler
• İleti metni
• Gönderi Zamanı
• Mention’lar, hashtag’ler, emojiler
• Resimler ve videolar
• Paylaşılan İçeriğe Bağlantılar
• Web Sitelerine Bağlantılar

Sosya Dinleme veya Sosyal Medya Analitiği, web ve sosyal medyadan istenilen
konu veya kitlelere ait paylaşılmış verileri
toplamayı ve toplanan verileri otomatize
şekilde analiz etmeyi sağlayan, yazılıma
dayalı uygulamalar ve analiz yöntemleri
bütünüdür.

Duygu analizi, tekil bir içerikten milyonlarca içeriğin ortalamasına kadar ifade
edilenlerin en basitinde olumlu, olumsuz ve nötr
olmak üzere yaklaşımların ya da ifadelerin genel
olarak bakış açısını belirten bir değerlendirme ve
analiz biçimidir.

Sosyal dinleme ve sosyal medya analitiği platformları
iki ana yöntem ile verilerin toplanmasını ya da takibini sağlar. Birincisi Boolean Taraması (https://library.robcol.k12.tr/c.php?g=660246&p=4662351)
yöntemiyle konuya ya da markaya ilişkin tüm kelime, tanım, ifade türlerinin olası yanlış yazımları ile
birlikte uygulamaların sorgu tanımlama kısımlarına
tanımlanmasıyla sağlanmasıdır. İkincisi ise hesap ya
da sayfaların uygulamalara tanımlanarak sayfa ve hesapların kamuya açık paylaşımlarının ve etkileşim rakamlarının düzenli olarak taranması yoluyla sağlanır.
Sosyal dinleme için en azından tek bir adet anahtar
kelime, hashtag, mention veya link gerekmektedir.

• Konuşmadan metne olarak da adlandırılan konuşma tanıma

• Dilbilgisel etiketleme

• Kelime anlam ayrımı

• İsimlendirilmiş varlık tanıma

• Eş referans çözümlemesi

• Duygu analizi

• Doğal dil üretimi

NLTK,  DDİ görevlerinin
çoğu için kitaplıklar ve ayrıca cümle ayrıştırma,
sözcük bölümlendirme, kök çıkarma ve lemmatizasyon (kelimeleri köklerine kadar kırpma
yöntemleri) ve gösterge simgeleştirme – tokenization (tümcelerin, paragrafların bilgisayarın daha
iyi anlayabileceği boyut ve formlarda göstergeler
ile simgeleştirerek ufalanması) gibi alt görevler için
kitaplıklar içerir ve bilgisayarın metni daha iyi anlamasına yardımcı olur

Latent drichlet allocation (LDA),
yaklaşımı Topic modelling uygulamalarında en
çok kullanılan örnektir

Sosyal ağ analizi (SAA), bireyler ve gruplar
arasındaki bağlantıları, ilişkileri ve ilişki
kümelerinin ağlarda yarattığı etkiyi ölçmeye odaklanır. Ortaya çıkardığı ilişkileri
görselleştirerek çıktı olarak ağ haritaları
üretir