PROGRAMLAMADA YENİ EĞİLİMLER

Büyük veri beş temel bileşenden oluşmaktadır. Bunlar çeşitlilik (variety), değer (value), doğrulama (verification), veri büyüklüğü (volume) ve hızdır (velocity).

Çeşitlilik: Büyük veri analizinde veri, birçok farklı kaynaklardan derlendiği için kendi içinde çeşitlilik ve farklılık göstermektedir. Örneğin bir GSM operatöründen gelen veri ile web sunucularından gelen veriler yapısal olarak farklıdır. Bu nedenle gelen veriyi analiz edecek büyük veri uzmanlarının verinin içeriğinin tipi hakkında bilgi sahibi olması gerekmektedir. Farklı kaynaklardan elde edilen verilerin birlikte kullanılması gerektiğinde, veri tipleri birbirine dönüştürülerek işlem yapılmalıdır

Büyük veri analitiği, çeşitli tiplerdeki verileri içeren büyük veri setlerini işleyerek bu veri setlerinden çeşitli örüntüleri, veriler arasındaki ilişkileri, müşteri tercihlerini, market eğilimleri gibi yararlı iş bilgilerini açığa çıkarma işlemidir. Büyük veri analitiğinin ana amacı, büyük veriyi analiz ederek veri sahiplerine işleri hakkında daha doğru kararlar verebilmelerine yardımcı olmaktır.

Veri Analitiği aşamasında "Modelleme ve Analiz", "Anlamlandırma" bulunur.

Metin analitiği, bir diğer adıyla metin madenciliği, bir metinden bilgi çıkarma tekniğidir. Sosyal ağlardaki paylaşımlar, elektronik postalar, forumlara girilen yorumlar, çeşitli dokümanlar ve haberler şirketler tarafından kullanılan metin verisi örnekleridir. Metin analitiğinde çeşitli istatiksel yöntemler ve makine öğrenimi algoritmaları kullanılarak büyük veri özetlenerek karar verme sistemlerinde kullanılabilmektedir.

Metin özetlemede bir ya da daha fazla doküman kullanılarak, orijinal büyük metnin önemli noktaları özetlenir. Metin özetleme sistemlerinin iki çeşidi vardır. Birincisi, çıkarım tabanlı özetlemedir. Bu özetleme sisteminde, ortaya çıkan özet orijinal dokümanın bir alt kümesidir. Orijinal dokümandaki nesneler üzerinde hiçbir değişiklik yapılmadan, yalnızca önemli olarak değerlendirilen kısımları ayrılmaktadır. İkinci tip özetleme yöntemi ise soyut tabanlı özetleme yöntemleridir. Dokümandan önemli bilgiler ve cümleler alındıktan sonra, doğal dil işleme yöntemleri kullanılarak bu bilgiler daha anlamlı başka kelimelerle yeniden ifade edilmektedir.

Tercih madenciliğiyle müşterilerden çeşitli bilgiler toplanıp analiz edilerek şirketler için anlamlı bilgiler çıkarılmaktadır.

Hadoop; büyük veri setlerinin dağıtık olarak saklanması ve üzerinde işlem yapılması için gerçekleştirilmiş bir yazılım çerçevesidir.

MapReduce, dağıtık mimari içerisinde bulunan dosyaları paralel bir şekilde analiz ederek, sonuçları çıkaran ve gönderen sistemlerden biridir. İlk olarak 2004 yılında Google tarafından duyurulan ve kullanılan bu sistem, günümüzde Facebook, Yahoo ve daha birçok şirket tarafından kullanılmaktadır.

Hadoop günümüzde Amazon, Adobe, eBay, Facebook ve Google gibi birçok firmada büyük veri analizinde kullanılmaktadır. Hadoop ayrıca diğer büyük veri işleme projelerine liderlik etmiştir. Hadoop dışında diğer büyük veri işleme projelerine aşağıdaki örnekler verilebilir: • Apache Pig, • Apache Hive, • Apache Spark, • Apache Storm.

Büyük veri; geleneksel yöntemlerle işlenmesi zor olan, hacimsel olarak büyük olan ve karmaşık yapıdaki veridir.

Büyük veri beş temel bileşenden oluşmaktadır. Bunlar çeşitlilik (variety), değer (value),
doğrulama (verification), veri büyüklügü (volume) ve hızdır (velocity).

Büyük veri analitiğindeki işlemler, toplam beş aşamadan oluşan iki ana parçaya ayrılabilir.
Veri Yönetimi; Veri Toplama ve Kayıt, Çıkartım Temizleme ve Belirtim, Birleştirme ve Gösterim
Veri Analitiği; Modelleme ve Analiz, Anlamlandırma

Eğer verilerde çeşitli hava koşullarından ya da kayıt sırasındaki başka nedenlerden kaynaklanan gürültü varsa bu gürültünün temizlenmesi gerekmektedir. Bu işlem Çıkartım Temizleme ve Belirtim aşamasında gerçekleştirilir.

Ad düğümünde verinin kendisi değil, veri hakkında bilgiler  saklanmaktadır. Dosyalar üzerindeki her türlü işlemden ad düğümü sorumludur. Veri düğümü ise asıl verinin tutuldugu kısımdır.

MapReduce, dağıtık mimari içerisinde bulunan dosyaları paralel bir şekilde analiz ederek, sonuçları çıkaran ve gönderen sistemlerden biridir.

HDFS, Hadoop için Java’da yazılmış dağıtık, ölçeklenebilir ve taşınabilir bir dosya sistemidir. HDFS büyük dosyaları birden fazla sunucuda saklamaktadır. Her bir sunucuda dosyanın farklı bir parçası saklanırken, bu parçalar sanal olarak birbirlerine bağlanarak tek bir dosya gibi işlem yapılabilmesine olanak sağlamaktadır.

Azaltma sisteminde her bir kelimeden teker teker kaç tane olduğu hesaplanır ve sonuç döndürülür.

Büyük veri üzerinde sorgu Modelleme ve Analiz aşamasında gerçekleştirilir.

Apache HTTP Server, açık kaynak kodlu çoklu platformlu bir web sunucu yazılımıdır.