Bu bölümde Apache Kafka bileşenlerinden Partition ve Broker hakkında bilgi vereceğiz
Apache Kafka birden fazla makine üzerinde çalışabilir (clustered system).Cluster içerisindeki her bir node(makine) broker olarak adlandırılır
Okumaya devam et “Apache Kafka – Partition ve Broker Kavramı”
Bu bölümde Apache Kafka bileşenlerinden Producer ve Consumer hakkında bilgi vereceğiz
Producer API genel olarak akan verileri(log) bir veya birden fazla Kafka topic’e yazar
Şimdi komut satırından bir topic’e mesaj yazalım (produce edelim)
Okumaya devam et “Apache Kafka – Producer ve Consumer Mimarisi”
Bu bölümde Apache Kafka Topic hakkında bilgi vereceğiz
Dış sistemlerden topladığımız verileri çeşitli kategorilere ayırmamız gerekebilir. Bu noktada topladığımız verileri farklı kategorilerde toplamak için kafka topic kullanabiliriz
Okumaya devam et “Apache Kafka – Topic Nedir ?”
Bu bölümde Windows üzerinde Apache Kafka kurulumu yapacağız
Şimdi adım adım Apache Kafka kurulumunu inceleyelim
Adım 1 : Kafka sitesinden uygun versiyon indirilir
Orjinal link : https://kafka.apache.org/
Okumaya devam et “Apache Kafka – Kafka Windows Kurulumu”
Bu bölümde Apache Spark MLib kütüphanesi ile karar ağacı(decision tree) modelini inceleyeceğiz. Geliştireceğimiz uygulama ile bisiklet almak isteyen kullanıcıların kararlarında hangi faktörlerin etkili olabileceğini hesaplayacağız
Okumaya devam et “Apache Spark – MLib ile Karar Ağacı(Decision Trees)”
Bu bölümde Apache Spark MLib kütüphanesi(machine learning library) ile text sınıflandırma yapacağız. Kullanacağımız algoritma ise sınıflandırma(classification) algoritmalarından Naive Bayes olacak
Okumaya devam et “Apache Spark – MLib ile Text Sınıflandırma(Naive Bayes)”
Bu bölümde Apache Spark MLib kütüphanesi(machine learning library) inceleyeceğiz
MLib , Apache Spark projesi içerisinde makine öğrenmesi(machine learning) algoritmalarını içeren kütüphanedir
Genel özellikleri şu şekildedir
Apache Spark ile MLib metodlarını birden fazla makinede çalıştırabiliriz.Böylelikle büyük ölçekli verileri hızlı bir şekilde analiz edebiliriz
Okumaya devam et “Apache Spark – MLib Nedir (Machine Learning)”
Bu bölümde Structered Streaming ile IOT cihazından gelen örnek veriler üzerinde anlık analiz uygulamasını inceleyeceğiz
Özet olarak hava sıcaklığı ve rüzgar yönü bilgilerini gönderen cihazlardan gelen verileri anlık olarak analiz edeceğiz
Okumaya devam et “Apache Spark – Structered Streaming ile IOT Örneği”
Bu bölümde Structered Streaming ile anlık hesapladığımız verilerin mysql’e nasıl atıldığını inceleyeceğiz
Not : Structered Streaming ALPHA versiyonunda bu entegrasyonların bazıları desteklenmeyebilir.
Adım 1 : Öncelikle mysql üzerinde results tablosu oluşturalım
Okumaya devam et “Apache Spark – Structered Streaming ile sonuçların kaydedilmesi”
Bu bölümde Apache Spark ile belirli zaman gruplarında verileri analiz ederek sonuçlar oluşturacağız
Örnek verirsek bir port üzerinden aldıgımız kelimeleri 10’er saniyelik bölümlerde sayarak kaç adet kelime geldiğini hesaplayabiliriz