Apache Spark – Hive Entegrasyonu

spark-hive

Bu bölümde Apache Spark ile Hive Entegrasyonunun nasıl yapıldığından bahsedeceğiz

Apache Hive , Hadoop üzerinden sql bazlı sorgulamalar yapabileceğimiz bir kütüphanedir. Eğer Hive  kütüphanesini daha detaylı öğrenmek istereniz buradan ( Hive Nedir ) devam ediniz

Apache Spark ile Hive metadata bilgilerini kullanarak sql sorguları yazabiliriz

Öncelikle Hadoop ortamındaki altta belirtilen konfigurasyonlar Spark kurulumunun bulunduğu yerdeki conf klasörüne kopyalanır

  • hive-site.xml
  • core-site.xml
  • hdfs-site.xml

SparkSession oluşturduğumuz metoda ek olarak enableHiveSupport() eklenir

 

Böylece SparkSession ile hive üzerinden sorgulamaları yapabiliriz

 

Bu bölümde Apache Spark ile Hive Entegrasyonunun nasıl yapıldığından bahsettik . Diğer büyük veri yazıları için sitemizi takip edebilirsiniz


Bizi takip edebileceğiniz sosyal medya platformları

–> Facebook –> Linkedin  -> Twitter)

 

 

Please follow and like us:

Yazar: serkan sakınmaz

serkansakinmaz@gmail.com

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir