Apache Spark

Bu bölümde popüler Big Data kütüphanelerinden Apache Spark  uygulamalı olarak anlatılacaktır

seminer

Spark Core ve Spark SQL

Apache Spark Nedir ? 

Apache Spark Mimarisi

Apache Spark ile Eclipse ortamında proje oluşturma

Apache Spark RDD Yapıları

Apache Spark RDD Transformation Yapıları

Apache Spark RDD Action Metodları

Apache Spark SQL

Apache Spark Encoder Kullanımları

Apache Spark Mysql Bağlantısı

Apache Spark ile JSON,CSV,Avro,Parquet Entegrasyonu

Apache Spark ile Hive Entegrasyonu

Okumaya devam et “Apache Spark”

Please follow and like us:

Apache Spark – RDD Dönüşüm(Transformations) Metodları

Bu bölümde RDD Dönüşüm(Transformations) fonksiyonları hakkında genel bilgiler vereceğiz

RDD Mimarisi bölümünde RDD hakkında genel bilgiler vermiştik. Çok detaylı olmasa da bazı fonksiyonları denemiştik.Şimdi ise bu fonksiyonları detaylıca inceleyelim

Örnekler için http://grouplens.org/datasets/movielens/  adresinden veri indirebiliriz

Dönüşüm(transformations) Metodları

Bu metodların en önemli özellikleri, mevcut RDD üzerinden yeni bir RDD dönüşümü yapmasıdır

map

Yeni bir RDD oluşturmak için kullanılır.Örnek verirsek film(movie) verileri  alttaki formatta indirilir

Okumaya devam et “Apache Spark – RDD Dönüşüm(Transformations) Metodları”

Please follow and like us:

Apache Spark – RDD Yapısı

Bu bölümde Apache Spark küüphanesinde bulunan RDD yapısını inceleyeceğiz

RDD( resilient distributed dataset) genel olarak Spark cluster üzerinde veriler üzerinde hesaplamalar yapmamızı sağlayan bir bileşendir.Aynı zamanda verileri diğer sistemleri aktarabiliriz

Örnek verirsek alttaki kod yapısı; okuduğumuz dosyanın kaç satır olduğunu cluster üzerinde hesaplar

Okumaya devam et “Apache Spark – RDD Yapısı”

Please follow and like us:

Big Data Kütüphaneleri

Bu bölümde popüler Big Data kütüphaneleriyle ilgili genel bilgiler paylaşılacaktır

big data
big data

Big Data(Büyük Veri) Nedir?

Hadoop Nedir?

NoSQL Nedir ?

Apache Spark Nedir ?

Elasticsearch Nedir ?

Apache Kafka Nedir? 

Apache Pig Nedir ? 

Apache Hive Nedir?

Apache Oozie Nedir?


Bizi takip edebileceğiniz sosyal medya platformları

–> Facebook –> Linkedin  -> Twitter

Sorularınız için Big Data grubumuz (-> Facebook group)

Online eğitimler için sitemizi takip edebilirsiniz

Please follow and like us:

Büyük Verilerinizi Hadoop’a Nasıl Aktarabilirsiniz ?

Büyük Verileri Hadoop ‘ a Nasıl Aktarabiliriz  ? 

Dış sistemlerden topladığınız verileri Hadoop üzerinde analiz edebilmek için öncelikle verileri Hadoop a taşımamız gerekir . Bu noktada aşağıdaki yöntemleri tercih edebiliriz

  • Local bilgisayardan Hadoop a veri kopyalama ,
  • Hadoop  Sandbox ile ,
  • Spark üzerinden ,
  • Veritabanı üzerinden ,
  • Storm üzerinden ,
  • Kafka üzerinden

Şimdi bunları biraz daha detaylı inceleyelim

Okumaya devam et “Büyük Verilerinizi Hadoop’a Nasıl Aktarabilirsiniz ?”

Please follow and like us:

Hadoop Sandbox Kurulumu

Hadoop Sandbox Kurulumu

Local bilgisayarlarımızda büyük verileri analiz edebilmek için çeşitli kütüphaneler kurmamız gerekir . Büyük veri analizine yeni başlayanlar için  Hadoop , Pig , Hive , Oozie , Spark , Kafka  kurulumu yapmak zahmetlidir .  İşte bu noktada Hortonworks Hadoop Sandbox kurulumu yapıp kolayca Hadoop , Spark , Pig , Hive .. gibi kütüphaneleri kullanabiliriz

Hortonworks ,  Hadoop gibi teknolojileri kullanabileceğimiz bir platform sunmaktadır

v10

Okumaya devam et “Hadoop Sandbox Kurulumu”

Please follow and like us: