Aralık 2016 – Büyük Veri Türkiye

Apache Spark – RDD Yapısı

Bu bölümde Apache Spark küüphanesinde bulunan RDD yapısını inceleyeceğiz

RDD( resilient distributed dataset) genel olarak Spark cluster üzerinde veriler üzerinde hesaplamalar yapmamızı sağlayan bir bileşendir.Aynı zamanda verileri diğer sistemleri aktarabiliriz

Örnek verirsek alttaki kod yapısı; okuduğumuz dosyanın kaç satır olduğunu cluster üzerinde hesaplar

package com;

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

public class RDD1 {

	public static void main(String[] args) {
		
		JavaSparkContext jsc = new JavaSparkContext("local", "Count files");
		JavaRDD<String> rdd = jsc.textFile("C:\\Users\\Serkan\\Desktop\\test.txt");
		System.out.println("Count : " + rdd.count());
		System.out.println("First : " + rdd.first());
	}

}

package com;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

public class RDD1 {

public static void main(String[] args) {

JavaSparkContext jsc = new JavaSparkContext("local", "Count files");

JavaRDD<String> rdd = jsc.textFile("C:\\Users\\Serkan\\Desktop\\test.txt");

System.out.println("Count : " + rdd.count());

System.out.println("First : " + rdd.first());

}

Okumaya devam et “Apache Spark – RDD Yapısı”

Please follow and like us:

Apache Spark – Eclipse üzerinde proje oluşturma

Bu bölümde Eclipse üzerinde örnek bir Apache Spark projesi oluşturacağız

eclips46

Adım 1 ) Eclipse official sitesinden Eclipse indirilir (Download)

Adım 2 ) Oracle official sitesinden jdk indirilir ve kurulur

Okumaya devam et “Apache Spark – Eclipse üzerinde proje oluşturma”

Please follow and like us:

Apache Spark Mimarisi

Bu bölümde Apache Spark mimarisi hakkında bilgiler vereceğiz

Apache Spark Nedir bölümünde Spark ile ilgili özet bilgiler vermiştik. Şimdi biraz daha detaya girelim

Apache Spark birden fazla makine üzerinde büyük verileri analiz eder.Bu sayede tek bir makine üzerinde işlem yapmak yerine birden fazla makine kullanarak daha hızlı sonuç alabiliriz.Eğer yaptığımız işlemlerden yeterli performans alamıyorsak makine sayısını rahatlıkla artırabiliriz(ölçeklenebilirlik)

Okumaya devam et “Apache Spark Mimarisi”

Please follow and like us:

Ankara Spark Meetup#2 – Hadoop Mimarisi & Cloudera Workshop

Ankara Spark Meetup olarak ikinci etkinliğimizde Hadoop Mimarisini inceleyip Cloudera üzerinde örnek MapReduce uygulaması yaptık

Sunumda işlediğimiz başlıklar

Okumaya devam et “Ankara Spark Meetup#2 – Hadoop Mimarisi & Cloudera Workshop”

Please follow and like us:

Apache Pig – UDF(User Defined Functions)

Bu bölümde Apache Pig ile UDF örneği inceleyeceğiz

Apache Pig ile büyük veriler üzerinde analiz işlemleri yaparken Pig fonksiyonlarının ihtiyaçlarımızı görmediği durumlarda java kodları geliştirebiliriz.Bu kodları pig içerisinden çağırabiliriz

Örnek log

1,John,US
2,Sarah,TR
3,John,US
4,David,EN
5,Peter,PL

1,John,US

2,Sarah,TR

3,John,US

4,David,EN

5,Peter,PL

Maven projesi oluşturup alttaki kodları ekleyelim

<dependency>
	<groupId>org.apache.pig</groupId>
	<artifactId>pig</artifactId>
        <version>0.9.0</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-core</artifactId>
	<version>0.20.2</version>
</dependency>

<groupId>org.apache.pig</groupId>

</dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-core</artifactId>

</dependency>

Okumaya devam et “Apache Pig – UDF(User Defined Functions)”

Please follow and like us:

Apache Pig – Dosya Komutları

Bu bölümde Apache Pig içerisinde sık kullanılan dosya komutlarını inceleyceğiz

Örnek log

1,John,US
2,Sarah,TR
3,John,US
4,David,EN
5,Peter,PL

1,John,US

2,Sarah,TR

3,John,US

4,David,EN

5,Peter,PL

Okumaya devam et “Apache Pig – Dosya Komutları”

Please follow and like us:

Apache Pig – Verilerin Veritabanına Yazdırılması

Bu bölümde Apache Pig ile analiz ettiğimiz verileri, veritabanı veya hdfs’e nasıl yazdırıldığını inceleyeceğiz

Apache Pig kütüphanesinde bulunan STORE komutu ile verileri diğer sistemlere yazabiliriz

Örnek log

1,John,US
2,Sarah,TR
3,John,US
4,David,EN
5,Peter,PL

1,John,US

2,Sarah,TR

3,John,US

4,David,EN

5,Peter,PL

Okumaya devam et “Apache Pig – Verilerin Veritabanına Yazdırılması”

Please follow and like us:

Apache Pig – Join

Bu bölümde Apache Pig ile join işlemlerini inceleyeceğiz

JOIN

JOIN ile iki yada daha fazla log verisini belirli alanlara göre birleştirebiliriz

Name	Age	Dept_Id
John	27	1
David	30	2
Peter	29	3

Dept_Id	Dept_Name
1	Sales
2	Marketing
3	Engineering

Okumaya devam et “Apache Pig – Join”

Please follow and like us:

Apache Pig – Fonksiyonlar

Bu bölümde Apache Pig kütüphanesinde bulunan AVG, CONCAT, COUNT, MIN, MAX, SUM gibi fonksiyonlar hakkında bilgiler vereceğiz

Öncelikle HDFS’e örnek verilerimizi yükleyelim

Örnek veri

1,US,5,https://www.google.com.tr/#q=apache+pig,apache,pig
2,US,25,https://www.google.com.tr/#q=apache+hive,apache,hive
3,TR,20,https://www.google.com.tr/#q=apache+hadoop,apache,hadoop
4,EN,10,https://www.google.com.tr/#q=apache+oozie,apache,oozie
5,PL,16,https://www.google.com.tr/#q=apache%20flume,apache,flume
6,US,24,https://www.google.com.tr/#q=apache+spark,apache,spark
7,US,36,https://www.google.com.tr/#q=apache+kafka,apache,kafka
8,EN,48,https://www.google.com.tr/#q=apache+storm,apache storm in hadoop ,storm

1,US,5,https://www.google.com.tr/#q=apache+pig,apache,pig

2,US,25,https://www.google.com.tr/#q=apache+hive,apache,hive

3,TR,20,https://www.google.com.tr/#q=apache+hadoop,apache,hadoop

4,EN,10,https://www.google.com.tr/#q=apache+oozie,apache,oozie

5,PL,16,https://www.google.com.tr/#q=apache%20flume,apache,flume

6,US,24,https://www.google.com.tr/#q=apache+spark,apache,spark

7,US,36,https://www.google.com.tr/#q=apache+kafka,apache,kafka

8,EN,48,https://www.google.com.tr/#q=apache+storm,apache storm in hadoop ,storm

Okumaya devam et “Apache Pig – Fonksiyonlar”

Please follow and like us:

Apache Pig – İlişkisel Operatörler

Bu bölümde Apache Pig ile DISTINCT, FILTER, GROUP ve FOREACH fonksiyonları hakkında bilgiler verip , örnekler yapacağız

DISTINCT fonksiyonu

Aynı bilgilere sahip kayıtları silmeye yarar

Veri

1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d24,US
1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d25,EN
1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d24,US
1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d27,TR
1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d24,US

1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d24,US

1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d25,EN

1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d24,US

1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d27,TR

1441214980800,2664c6bb-9261-42bf-a5c4-534436f50d24,US

Okumaya devam et “Apache Pig – İlişkisel Operatörler”

Please follow and like us: