Apache Pig – Verilerin Mysql e yazdırılması

hadoop-pig-mysql

Bu bölümde Apache Pig ile analiz ettiğimiz verilerin mysql e nasıl yazdırıldığını inceleyeceğiz

Apache Pig içerisinde bulunan STORE komutu ile verileri diğer sistemlere kaydedebiliriz

Örnek log

Okumaya devam et “Apache Pig – Verilerin Mysql e yazdırılması”

Please follow and like us:

Apache Pig – Join

Bu bölümde Apache Pig ile join işlemlerini inceleyeceğiz

JOIN

JOIN ile iki yada daha fazla log verisini belirli alanlara göre birleştirebiliriz

Name Age Dept_Id
John 27 1
David 30 2
Peter 29 3
Dept_Id Dept_Name
1 Sales
2 Marketing
3 Engineering

Okumaya devam et “Apache Pig – Join”

Please follow and like us:

Apache Pig – Fonksiyonlar

Bu bölümde Apache Pig kütüphanesinde bulunan AVG, CONCAT, COUNT, MIN, MAX, SUM gibi fonksiyonlar hakkında bilgiler vereceğiz

Öncelikle HDFS’e örnek verilerimizi yükleyelim

Örnek veri

Okumaya devam et “Apache Pig – Fonksiyonlar”

Please follow and like us:

Apache Pig – İlişkisel Operatörler

Bu bölümde Apache Pig ile DISTINCT, FILTER, GROUP ve FOREACH fonksiyonları hakkında bilgiler verip , örnekler yapacağız

DISTINCT fonksiyonu

Aynı bilgilere sahip kayıtları silmeye yarar

Veri

Okumaya devam et “Apache Pig – İlişkisel Operatörler”

Please follow and like us:

Apache Pig – Veri Tipleri

Bu bölümde Apache Pig veri tipleri hakkında bilgiler vereceğiz

HDFS üzerinden yüklediğimiz verileri Apache Pig ile işlemek için öncelikle LOAD komutu ile verileri yüklememiz gerekir .

Apache Pig içerisinde tanımlanmış veri tipleri altta listelenmiştir

pig_veri_tipleri
pig_veri_tipleri

Okumaya devam et “Apache Pig – Veri Tipleri”

Please follow and like us: