Apache Spark

Bu bölümde popüler Big Data kütüphanelerinden Apache Spark  uygulamalı olarak anlatılacaktır

seminer

Spark Core ve Spark SQL

Apache Spark Nedir ? 

Apache Spark Mimarisi

Apache Spark ile Eclipse ortamında proje oluşturma

Apache Spark RDD Yapıları

Apache Spark RDD Transformation Yapıları

Apache Spark RDD Action Metodları

Apache Spark SQL

Apache Spark Encoder Kullanımları

Apache Spark Mysql Bağlantısı

Apache Spark ile JSON,CSV,Avro,Parquet Entegrasyonu

Apache Spark ile Hive Entegrasyonu

Okumaya devam et “Apache Spark”

Please follow and like us:

Apache Spark – MLib Nedir (Machine Learning)

Bu bölümde Apache Spark MLib kütüphanesi(machine learning library)  inceleyeceğiz

spark-mlib

MLib , Apache Spark projesi içerisinde makine öğrenmesi(machine learning) algoritmalarını içeren kütüphanedir

Genel özellikleri şu şekildedir

Ölçeklenebilir(scalable)

Apache Spark ile MLib metodlarını birden fazla makinede çalıştırabiliriz.Böylelikle büyük ölçekli verileri hızlı bir şekilde analiz edebiliriz

ölçeklenebilir makine öğrenmesi

Okumaya devam et “Apache Spark – MLib Nedir (Machine Learning)”

Please follow and like us:

Apache Spark – Structered Streaming ile zaman gruplarında veri analizi ? (window operations )

spark-window

Bu bölümde Apache Spark ile belirli zaman gruplarında verileri analiz ederek sonuçlar oluşturacağız

Örnek verirsek bir port üzerinden aldıgımız kelimeleri 10’er saniyelik bölümlerde sayarak kaç adet kelime geldiğini hesaplayabiliriz

Okumaya devam et “Apache Spark – Structered Streaming ile zaman gruplarında veri analizi ? (window operations )”

Please follow and like us:

Apache Spark – Structered Streaming Mimarisi

Bu bölümde Apache Spark ile Structered Streaming Mimarisi hakkında bilgiler vereceğiz

Bir önceki bölümde  Structered Streaming ile basit bir örnek yapmıştık. Geliştirdiğimiz uygulamada belirli bir port üzerinden kelimeler gönderip , bu port’u dinleyen Spark uygulamasına word-count analizi yaptırdık

Şimdi ise mimari tarafı inceleyelim

realtime_mimari

Okumaya devam et “Apache Spark – Structered Streaming Mimarisi”

Please follow and like us: