Hadoop YARN Mimarisi

Bu bölümde Hadoop YARN(Yet Another Resource Negotiator) Mimarisi hakkında bilgiler vereceğiz

yarn
yarn

YARN genel olarak MapReduce gibi dağıtık uygulamalarımız için kaynak yönetimini sağlar(ram,cpu).Fakat MapReduce kodları geliştirirken YARN’a doğrudan müdahe etmemize gerek yoktur.YARN arka planda resource yönetimini bizim için sağlar

Ayrıca Yarn MapReduce dışında Spark ve Tez için kaynak yönetimi’de sağlar

yarn-mr-spark-tez
yarn-mr-spark-tez

YARN’ın çalışma prensibine geçmeden önce genel terimlerden bahsedelim

ResourceManager Nedir?

ResourceManager, hadoop cluster içerisindeki kaynakları takip eder ve uygulamaları yönetir

NodeManager Nedir?

NodeManager, hadoop cluster içerisinde bulunan her bir slave üzerinde çalışan uygulamadır.Görevi ise kendisini ResourceManager’a tanıtmak ve belirli periyotlarda bulunduğu makine ile ilgili bilgi mesajı vermektir.Ayrıca bulunduğu makinadaki kaynakları(memory,vcore) yine ResourceManager’a bildirir.

Container nedir ?

HDFS içerisinde uygulamaların çalıştığı,belirli bir kaynağa sahip olan(ram,core) bileşendir.MapReduce job’ı bir yada birden fazla container içerisinde çalışabilir.

container
container

Hadoop üzerinde bir uygulama nasıl çalışır?

Şimdi adım adım bir uygulamanın çalışma prensibini inceleyelim

hadoop-job-çalışma-prensibi
hadoop-job-çalışma-prensibi
  • Öncelikle Client bir uygulamayı başlatır
  • Uygulama ResourceManager’a yönlendirilir
  • ResourceManager cluster üzerindeki kaynakları kontrol eder ve node içerisindeki ApplicationMaster’a bir yada birden fazla Container başlatması için bilgi verir.Çalıştırılan Container’lar farklı makinalar üzerinde bulunabilir.
  • ApplicationMaster ise uygun sayıda Container başlatarak, bu Container’lar içerisinde MapReduce uygulamalarının çalışmasını sağlar.
  • Daha sonra sonuçlar client’a bildirilir

Bu bölümde YARN hakkında bilgi verdik.


Bizi takip edebileceğiniz sosyal medya platformları

–> Facebook –> Linkedin  -> Twitter

Sorularınız için Big Data grubumuz (-> Facebook group)

Online eğitimler için sitemizi takip edebilirsiniz

Please follow and like us:

Yazar: serkan sakınmaz

serkansakinmaz@gmail.com

Bir cevap yazın