Apache Oozie Nedir ?

Apache Oozie Nedir ?

Büyük veriler üzerinde geliştirmeler yaparken hadoop,spark,pig,hive gibi çeşitli big data kütüphaneleri kullanabiliriz.Bazı durumlarda yaptığımız bu geliştirmeleri belirli periyotlarda yada belirli bir iş akışına(workflow) göre çalıştırmamız gerekir

oozie kütüphanesi
oozie kütüphanesi

İşte bu noktada Apache Oozie big data kütüphanelerini belirli periyotlarda ve belirli sıralarda çalıştırmamızı sağlar

Örnek olarak şöyle bir iş akışımız olsun

  • Saatlik çalışarak web sitemizdeki reklamlara 50’den fazla tıklayan kullanıcıları bulan ve bu bilgileri HDFS’e atan bir MapReduce  uygulaması
  • Bulunan kullanıcılar üzerinde çeşitli analizler yapan Spark uygulaması
  • Eğer işlemler hatalı bittiyse hata maili , başarılı tamamlandıysa bilgilendirme maili atan bir uygulamaya ihtiyacımız olsun

Bu durumda şöyle bir iş akışına ihtiyacımız olacak

oozie akis
oozie akis

Böyle bir iş akışını tanımlayabilmek için Oozie bize çeşitli metodlar sunar

Oozie’nin özellikleri

  • Açık kaynak kodlu ve ücretsizdir
  • Periyodik işlemler için uygundur (dakikalık , saatlik , haftalık …)
  • Birçok big data kütüphanesini destekler
    • Hadoop,Pig,Hive,Spark,Sqoop..
  • İşlemler sırasında mail atabiliriz
  • Fork işlemini destekler.Bir MapReduce job’ı bittikten sonra aynı anda paralel bir şekilde devam edecek Pig ve Spark job’ı başlatabiliriz
  • Hadoop dosya sistemi komutları kullanılabilir (hdfs dfs -copyFromLocal from to )
  • Linux komutları çalıştırılabilir
  • Java projesi çalıştırılabilir
  • Kullanışlı bir arayüz sağlar
oozie arayuz
oozie arayuz

Diğer yazılarda oozie ile ilgili örnekler bulabilirsiniz


Bizi takip edebileceğiniz sosyal medya platformları

–> Facebook –> Linkedin  -> Twitter

Sorularınız için Big Data grubumuz (-> Facebook group)

Online eğitimler için sitemizi takip edebilirsiniz

Please follow and like us:

Yazar: serkan sakınmaz

serkansakinmaz@gmail.com

Bir cevap yazın