PROGRAMLAMADA YENİ EĞİLİMLER

Geleneksel bilgisayar sistemlerinde veri ilişkisel veri tabanlarında yapılandırılmış olarak saklanmaktadır. Bu tipteki bilgiye erişmek, veri
tabanı sorgularıyla kolaydır. Ancak büyük veri, ilişkisel veri tabanlarında tutulamayan çok çeşitli birleşimlerden oluşmaktadır.

Akıllı telefonların kullanımının artması ve internet kullanımının yaygınlaşmasıyla kişilerin veri paylaşımı artmaktadır.

Büyük veri kaynaklarının bazıları aşağıdaki gibi sıralanabilir:
• Web sunucu logları
• Bloglar
• Elektronik postalar
• Sosyal medyadaki fotoğraf, video gibi paylaşımlar
• Çeşitli sensörlerden gelen sürekli bilgiler
• GSM operatörlerindeki arama kayıtları
• Çeşitli mobil uygulamalardaki demografik bilgiler
• Meteorolojik bilgiler
• Uydu görüntüleri

Büyük veri beş temel bileşenden oluşmaktadır.

Büyük veri beş temel bileşenden oluşmaktadır. Bunlar çeşitlilik (variety), değer (value), doğrulama (verification), veri büyüklüğü (volume) ve hızdır (velocity).

Veri her yerden ve hızlı bir şekilde geldiği için verinin büyüklüğü katlanarak artmaktadır.

Verinin kaynağı bilinmeli ve yalnızca doğru kişilerle paylaşılmalıdır, istenmeyen kişilerden gizlenmelidir. Ayrıca doğrulanmamış bilgilerin kullanılması, hem kullanıcılar hem de servis sağlayıcılar açısından sorunlara neden olabilir.

Bankalar da müşterileri ile ilgili bütün verileri saklamaktadırlar. Kişilerin hesap hareketleri, para transferleri, ödemeleri, kredi geçmişleri, İnternet bankacılığını kullanma saatleri ve ne tür işlemler gerçekleştirdikleri gibi birçok veri kayıt altındadır.

Büyük veri analitiği, çeşitli tiplerdeki verileri içeren büyük veri setlerini işleyerek bu veri setlerinden çeşitli örüntüleri, veriler arasındaki ilişkileri, müşteri tercihlerini, market eğilimleri gibi yararlı iş bilgilerini açığa çıkarma işlemidir.

Metin analitiği, bir diğer adıyla metin madenciliği, bir metinden bilgi çıkarma tekniğidir.

Büyük veri kaynaklarının bazıları aşağıdaki gibi sıralanabilir:

Büyük veri beş temel bileşenden oluşmaktadır. Bunlar çeşitlilik (variety), değer (value),

doğrulama (verification), veri büyüklüğü (volume) ve hızdır (velocity). Bu bileşenler İngilizce

isimlerinin baş harflerinin aynı olmasından dolayı 5V olarak adlandırılmaktadır

Çeşitlilik: Büyük veri analizinde veri, birçok farklı kaynaklardan derlendiği için kendi içinde çeşitlilik ve farklılık göstermektedir. Örneğin bir GSM operatöründen gelen veri ile web sunucularından gelen veriler yapısal olarak farklıdır. Bu nedenle gelen veriyi analiz edecek büyük veri uzmanlarının verinin içeriğinin tipi hakkında bilgi sahibi olması gerekmektedir. Farklı kaynaklardan elde edilen verilerin birlikte kullanılması gerektiğinde, veri tipleri birbirine dönüştürülerek işlem yapılmalıdır.

Büyük veri analitiği, çeşitli tiplerdeki verileri içeren büyük veri setlerini işleyerek bu veri setlerinden çeşitli örüntüleri, veriler arasındaki ilişkileri, müşteri tercihlerini, market eğilimleri gibi yararlı iş bilgilerini açığa çıkarma işlemidir.

Farklı alanlarda yapısal olan ve yapısal olmayan veri için büyük veri analitiği teknikleri uygulanmaktadır. Bu teknikler birkaç başlık altında aşağıdaki gibi incelenebilir:

Metin analitiği

Ses analitiği

Video içerik analitiği

Bilindiği gibi büyük veri sistemlerinde verinin hacmi çok büyüktür ve geleneksel yöntemlerle büyük veriyi işlemek zordur. Günümüzde büyük veri üzerinde işlem yapmaya olanak sağlayan yazılım çerçevelerinden biri Apache Hadoop’tur. Hadoop, büyük veri setlerinin dağıtık olarak saklanması ve üzerinde dağıtık işlemler yapılması için Java dilinde yazılmış açık kaynak kodlu bir yazılım çerçevesidir.

HDFS, Hadoop için Java’da yazılmış dağıtık, ölçeklenebilir ve taşınabilir bir dosya sistemidir. HDFS büyük dosyaları birden fazla sunucuda saklamaktadır. Her bir sunucuda dosyanın farklı bir parçası saklanırken, bu parçalar sanal olarak birbirlerine bağlanarak tek bir dosya gibi işlem yapılabilmesine olanak sağlamaktadır. Hadoop’da HDFS katmanı temelde iki parçadan oluşmaktadır. Bunlar Ad Düğümü ve Veri Düğümü’dür.

Hadoop günümüzde Amazon, Adobe, eBay, Facebook ve Google gibi birçok firmada büyük veri analizinde kullanılmaktadır. Hadoop ayrıca diğer büyük veri işleme projelerine liderlik etmiştir. Hadoop dışında diğer büyük veri işleme projelerine aşağıdaki örnekler verilebilir: