Apache Spark – JSON,CSV,Avro,Parquet Entegrasyonu

Bu bölümde Apache Spark ile JSON,CSV,Avro ve Parquet Entegrasyonundan bahsedeceğiz

spark-avro-parquet-csv

JSON Entegrasyonu

Apache Spark ile json formatındaki verileri rahatlıkla okuyabiliriz.

read().json metodu ile json dosyalarını kolaylıkla okuyabiliriz

Parquet Entegrasyonu

Spark ile parquet formatında dosyalar yazabilir ve okuyabilirz

Öncelikle parquet formatında bir dosya yazalım

Daha sonra parquet formatındaki dosyayı okuyalım

Avro Entegrasyonu

Spark ile avro formatında dosyalar yazabilir ve okuyabilirz

Öncelikle spark-avro paketini ekleyelim

Örnek olması açısından avro formatında twitter verisi indirelim

twitter-avro

Bu dosya içerisinde twitter.avro dosyası bulunmaktadır

Sonrasında bu dosyayı Spark ile okuyalım

Okumus oldugumuz dosyayı alttaki kod bloğuyla tekrar yazabiliriz

Not : Avro dosyası yazarken hata alabilirsiniz.Örnekleri yaptığımızda bug ile karşılaştık

CSV Entegrasyonu

Spark ile csv  formatında dosyalar yazabilir ve okuyabilirz

Entegrasyon için read().csv ve write().csv metodlarını kullanabiliriz

Bu bölümde Apache Spark ile csv,json,avro ve parquet formatında dosyalarla işlemler yaptık .Diğer büyük veri yazıları için sitemizi takip edebilirsiniz


Bizi takip edebileceğiniz sosyal medya platformları

–> Facebook –> Linkedin  -> Twitter)

 

 

Please follow and like us:

Yazar: serkan sakınmaz

serkansakinmaz@gmail.com

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir