PROGRAMLAMADA YENİ EĞİLİMLER

Büyük veri; geleneksel yöntemlerle işlenmesi zor olan, hacimsel olarak büyük olan ve karmaşık yapıdaki veridir.
Ancak büyük veri, ilişkisel veri tabanlarında tutulamayan çok çeşitli birleşimlerden olumaktadır.

Büyük veri kaynaklarının bazıları aşağıdaki gibi sıralanabilir:
• Web sunucu logları
• Bloglar
• Elektronik postalar
• Sosyal medyadaki fotograf, video gibi paylaşımlar
• Çeşitli sensörlerden gelen sürekli bilgiler
• GSM operatörlerindeki arama kayıtları
• Çeşitli mobil uygulamalardaki demografik bilgiler
• Meteorolojk bilgiler
• Uydu görüntüleri


Büyük veri beş temel bileşenden oluşmaktadır. Bunlar çeşitlilik (variety), değer (value), doğrulama (verification), veri büyüklügü (volume) ve hızdır (velocity).

Büyük veri analitiği, çeşitli tiplerdeki verileri içeren büyük veri setlerini işleyerek bu veri setlerinden çeşitli örüntüler, veriler arasındaki ilişkileri, müşteri tercihlerini, market eğilimleri gibi yararlı  bilgilerin açığa çıkarma işlemidir.
Büyük veri analitiğinin ana amacı, büyük veriyi analiz ederek veri sahiplerine işler hakkında daha doğru kararlar verebilmelerine yardımcı olmaktır.

Büyük veri analitiğindeki işlemler, toplam beş aşamadan oluşur. Veri yönetimi ve Veri analitiği olman üzere iki ana parçaya ayrılabilir.

Veri Yönetimi
Veri Toplama ve Kayıt
Çıkartım Temizleme ve Belirtim
Birleştirme ve Gösterim

Veri Analitigi
Modelleme ve Analiz
Anlamlandırma

Veri toplama ve kayıt: İlk olarak verilerin, veri kaynağından toplanması gerekmektedir. Sosyal ağ, sensörler, ses kayıt cihazı vb. çeşitli kaynaklardan gelen veriler toplanmakta ve kayıt altına alınmaktadır. Bu toplama ve kayıt işlemlerinin otomatik olarak nasıl yapılacağı büyük veri analizinde ilk ve önemli adımdır

Çıkartım, temizleme ve belirtim: Genellikle toplanan veri, analiz için hazır bir formatta değildir. Bu verilerden öncelikle analizde kullanılabilecek özelliklerin çıkarılması gerekmektedr. Eğer verilerde çeşitli hava koşullarından ya da kayıt sırasındaki başka nedenlerden kaynaklanan gürültü varsa bu gürültünün temizlenmesi gerekmektedir. Sonrasında bu özellikler veri analizinde kullanılabilir.

Birleştirme ve gösterim: Veriler genellikle farklı kaynaklardan geldikleri için, kullanıma hazır hale getirmek amacıyla öncelikle birleştirilmeleri gerekmektedir. Verilerin boyutu çok büyük olduğunda bu işlem hatasız bir şekilde birletirebilecek otomatik sistemlere ihtiyaç duyulmaktadır.

Modelleme ve analiz: Büyük veri üzerinde analiz ve sorgu yapmak, küçük örnekler üzerinde istatistik analiz yapmaktan farklıdır. Çünkü büyük veri genellkle gürültülü, dinamik olarak değişen ve homojen olmayan bir yapıya sahiptir. Ayrıca
büyük veri, küçük örnek setlerinden daha değerlidir. Çeşitli veri modelleme teknikleri kullanılarak sıklıkla kullanılan örüntüler ve veriler arasındaki ilişkiler bulunabilir. Bu şekilde büyük veri üzerinden ilişkisel bilgi çıkarımı yapılır. Bu ilişkiler veri sahpleri için önemli bir bilgi kaynağıdır.

Anlamlandırma: Büyük veri analizinde son aşama modelleme ya da sorgu sonucunda açığa çıkan sonuçların anlamlandırılarak ilgili kişilere (örneğin; şirket yöneticisi, pazarlama direktörü vb.) sunulmasıdır. Modelden çıkan sonuçları olduğu gibi sunmak yeterl değildir. Karar verici kişilerin sonuçları yorumlaması ve doğrulaması gerekmektedir.

Büyük veri kaynaklarının bazıları aşağıdaki gibi sıralanabilir:
• Web sunucu logları
• Bloglar
• Elektronik postalar
• Sosyal medyadaki fotoğraf, video gibi paylaşımlar
• Çeşitli sensörlerden gelen sürekli bilgiler
• GSM operatörlerindeki arama kayıtları
• Çeşitli mobil uygulamalardaki demografik bilgiler
• Meteorolojik bilgiler
• Uydu görüntüleri

Büyük veri beş temel bileşenden oluşmaktadır. Bunlar çeşitlilik (variety), değer (value), doğrulama (verification), veri büyüklüğü (volume) ve hızdır (velocity). Bu bileşenler İngilizce isimlerinin baş harflerinin aynı olmasından dolayı 5V olarak adlandırılmaktadır.

Doğrulanmamış bilgilerin kullanılması, hem kullanıcılar hem de servis sağlayıcılar açısından sorunlara neden olabilir. Bu nedenle, doğrulama bileşeni özellikle kişilerin kontrolünden geçmeyen otomatik sistemlerde veri güvenilirliğinin önemi de artmaktadır.

Bankalar kişinin bütün finans hareketlerini sistemlerinden izleyebilmektedirler. Bu veriler bankalar için değerlidir ancak kendi başlarına çok anlam ifade etmezler. Bu veriler incelenerek bir kimseye kredi verilip verilemeyeceğinin analizi yapılarak karar verilmektedir. Bu karar, banka için ham finansal hareket verisinin değerini göstermektedir.

Veriler genellikle farklı kaynaklardan geldikleri için, kullanıma hazır hale getirmek amacıyla öncelikle birleştirilmeleri gerekmektedir. Örneğin, bir araştırmacının elinde bilimsel kaynaklı bir veri seti olsun. Yine başka bir araştırmacı da benzer çalışmalarında, benzer bir veri seti kullansın. Bu iki veri setini birlikte kullanacak bir çalışma yapılmak istendiğinde, bu verileri anlamlı bir şekilde birleştirmek gerekmektedir. Verilerin boyutu çok büyük olduğunda bu işlemi hatasız bir şekilde birleştirebilecek otomatik sistemlere ihtiyaç duyulmaktadır.

Büyük veri üzerinde analiz ve sorgu yapmak, küçük örnekler üzerinde istatistik analiz yapmaktan farklıdır. Çünkü büyük veri genellikle gürültülü, dinamik olarak değişen ve homojen olmayan bir yapıya sahiptir. Ayrıca büyük veri, küçük örnek setlerinden daha değerlidir. Çeşitli veri modelleme teknikleri kullanılarak sıklıkla kullanılan örüntüler ve veriler arasındaki ilişkiler bulunabilir. Bu şekilde büyük veri üzerinden ilişkisel bilgi çıkarımı yapılır. Bu ilişkiler veri sahipleri için önemli bir bilgi kaynağıdır.

Metin analitiği, bir diğer adıyla metin madenciliği, bir metinden bilgi çıkarma tekniğidir. Metin analitiğinde çeşitli istatiksel yöntemler ve makine öğrenimi algoritmaları kullanılarak büyük veri özetlenerek karar verme sistemlerinde kullanılabilmektedir. Güven analizi ve tercih madenciliği de metin analitiği konularından biridir.

Video içerik analitiği, videodan otomatik olarak anlamlı bilgi çıkarma işlemidir. Büyük veri analiz teknikleri, binlerce saatlik videoları analiz etmek için kullanılmaktadır. Birincil kullanım alanı, güvenlik ve izleme sistemleridir. Bu sistemlerde, gizli bölgelere giren kişileri, yerinden kaldırılan ya da yeri değişen objeleri otomatik olarak ortaya çıkarmaktır. Diğer bir kullanım alanı da iş zekâsı uygulamalarıdır. Örneğin,giyim mağazalarında hangi reyonlara daha fazla müşteri uğruyor, bir ürüne hangi üründen sonra yönleniliyor veya hangi renkler ağırlıklı olarak tercih ediliyor gibi bilgiler video görüntüleri analiz edilerek toplanabilmektedir.

Hadoop’da HDFS katmanı temelde iki parçadan oluşmaktadır. Bunlar Ad Düğümü ve Veri Düğümüdür. Ad düğümünde verinin kendisi değil, veri hakkında bilgiler saklanmaktadır. Dosyalar üzerindeki her türlü işlemden ad düğümü sorumludur. Veri düğümü ise asıl verinin tutulduğu kısımdır.

MapReduce, dağıtık mimari içerisinde bulunan dosyaları paralel bir şekilde analiz ederek, sonuçları çıkaran ve gönderen sistemlerden biridir. İlk olarak 2004 yılında Google tarafından duyurulan ve kullanılan bu sistem, günümüzde Facebook, Yahoo ve daha birçok şirket tarafından kullanılmaktadır.