Hadoop 3.x ve Hadoop 2.x arasındaki genel farklar

hadoop-2-x-vs-hadoop-3.x

Bu bölümde Hadoop 3.x ve Hadoop 2.x arasındaki genel farklardan bahsedeceğiz

Bildiğiniz gibi 2017 sonlarına doğru Hadoop 3 versiyonu tanıtıldı . Şimdi Hadoop ‘un yeni versiyonuyla beraber ne gibi değişikler yapıldığından bahsedelim

Java versiyonu

Hadoop 3.x versiyonu için minimum java versiyonu Java 8 ‘ e yükseltilmiştir. Hadoop  3 versiyonuna geçiş yapmak için öncelikle java versiyonlarını yükseltmemiz gerekecek

Data kopyalama yöntemi (Replication factor)

Hadoop 2  versiyonunda ,  verinin 3 kopyası saklanarak veri kaybında meydana gelebilecek sıkıntılar yönetiliyordu.Burada en önemli problem ise 3 kopya saklandığından dosyalar sistemde 3x yer kaplıyordu . Hadoop 3 versiyonunda ise erasure coding  yapısı ile hata durumları yönetilirken , verilerin disk’te tuttuğu yer sadece 1.5x kadar yer kaplamaktadır

Hdfs balancer

HDFS disk balancer  , genel olarak verilerin datanode ‘lar üzerinde dengeli bir şekilde dağıtılmasını sağlar . Fakat Hadoop 2  versiyonunda HDFS üzerinde yazma ve okuma işlemleri yoğun olarak yapıldığı için bu işlem bazen doğru bir şekilde çalışmaz . Hadoop 3 ile  bu yöntem iyileştirilmiştir.

Namenode sayısı

Hadoop 3 ile secondary namenode sayısı 2 den fazla olabilir

File system desteği

Hadoop 3 ile Azure Data Lake dosya sistemi desteği gelmiştir

Ölçeklenebilirlik

Hadoop 2 versiyonu bir cluster için 10.000 node ‘ a kadar destekliyor . Hadoop 3 ise bu sayıdan daha fazlasını destekliyor

MapReduce Performansı

Hadoop 3 versiyonunda MapReduce performansı bir önceki versiyona göre daha iyidir


Bizi takip edebileceğiniz sosyal medya platformları

–> Facebook –> Linkedin  -> Twitter

Sorularınız için Big Data grubumuz (-> Facebook group)

Online eğitimler için sitemizi takip edebilirsiniz

 

 

Please follow and like us:

Yazar: serkan sakınmaz

serkansakinmaz@gmail.com

Bir Cevap Yazın