Apache Spark

Bu bölümde popüler Big Data kütüphanelerinden Apache Spark  uygulamalı olarak anlatılacaktır

seminer

Spark Core ve Spark SQL

Apache Spark Nedir ? 

Apache Spark Mimarisi

Apache Spark ile Eclipse ortamında proje oluşturma

Apache Spark RDD Yapıları

Apache Spark RDD Transformation Yapıları

Apache Spark RDD Action Metodları

Apache Spark SQL

Apache Spark Encoder Kullanımları

Apache Spark Mysql Bağlantısı

Apache Spark ile JSON,CSV,Avro,Parquet Entegrasyonu

Apache Spark ile Hive Entegrasyonu

Okumaya devam et “Apache Spark”

Please follow and like us:

Apache Spark – RDD Dönüşüm(Transformations) Metodları

Bu bölümde RDD Dönüşüm(Transformations) fonksiyonları hakkında genel bilgiler vereceğiz

RDD Mimarisi bölümünde RDD hakkında genel bilgiler vermiştik. Çok detaylı olmasa da bazı fonksiyonları denemiştik.Şimdi ise bu fonksiyonları detaylıca inceleyelim

Örnekler için http://grouplens.org/datasets/movielens/  adresinden veri indirebiliriz

Dönüşüm(transformations) Metodları

Bu metodların en önemli özellikleri, mevcut RDD üzerinden yeni bir RDD dönüşümü yapmasıdır

map

Yeni bir RDD oluşturmak için kullanılır.Örnek verirsek film(movie) verileri  alttaki formatta indirilir

Okumaya devam et “Apache Spark – RDD Dönüşüm(Transformations) Metodları”

Please follow and like us:

Apache Spark – RDD Yapısı

Bu bölümde Apache Spark küüphanesinde bulunan RDD yapısını inceleyeceğiz

RDD( resilient distributed dataset) genel olarak Spark cluster üzerinde veriler üzerinde hesaplamalar yapmamızı sağlayan bir bileşendir.Aynı zamanda verileri diğer sistemleri aktarabiliriz

Örnek verirsek alttaki kod yapısı; okuduğumuz dosyanın kaç satır olduğunu cluster üzerinde hesaplar

Okumaya devam et “Apache Spark – RDD Yapısı”

Please follow and like us:

Big Data Kütüphaneleri

Bu bölümde popüler Big Data kütüphaneleriyle ilgili genel bilgiler paylaşılacaktır

big data
big data

Big Data(Büyük Veri) Nedir?

Hadoop Nedir?

NoSQL Nedir ?

Apache Spark Nedir ?

Elasticsearch Nedir ?

Apache Kafka Nedir? 

Apache Pig Nedir ? 

Apache Hive Nedir?

Apache Oozie Nedir?


Bizi takip edebileceğiniz sosyal medya platformları

–> Facebook –> Linkedin  -> Twitter

Sorularınız için Big Data grubumuz (-> Facebook group)

Online eğitimler için sitemizi takip edebilirsiniz

Please follow and like us:

Big Data(Büyük Veri) Nedir?

Big Data(Büyük Veri) Nedir?

Big data(büyük veri) genel olarak yüksek hacimlerdeki veriler için kullanılan bir terimdir.

bigdata-nedir

Günümüzde büyük veri kavramını sıkça duymaktayız. Bunun en önemli nedeni ise hayatımızın her alanında dijital bir hareket olmasıdır .Facebook paylaşımları, izlenen videolar, araçların hareket halinde topladığı veriler, network üzerinde akan loglar … Okumaya devam et “Big Data(Büyük Veri) Nedir?”

Please follow and like us: