Apa Keuntungan Kerangka Hadoop 2.0 (YARN)?

Pengarang: Roger Morrison
Tanggal Pembuatan: 18 September 2021
Tanggal Pembaruan: 1 Juli 2024
Anonim
Tutorial 13-Hadoop 2.X Yarn Architecture
Video: Tutorial 13-Hadoop 2.X Yarn Architecture

Isi


Sumber: Jim Hughes / Dreamstime.com

Bawa pulang:

BENANG adalah peningkatan yang signifikan atas kerangka kerja Hadoop 1.0. Di sini kita menguji beberapa kelebihan yang dimilikinya dibanding pendahulunya.

Sejak konsep big data diperkenalkan, ia telah melalui berbagai fase evolusi. Hadoop diperkenalkan pada 2005 dengan beberapa fitur awal seperti mesin pengolah MapReduce yang memungkinkan beban kerja pemrosesan data skala besar didistribusikan dalam kelompok. Hadoop sendiri telah mengalami banyak perubahan dan telah mengembangkan kerangka kerja dan metode canggih.

BENANG adalah komponen inti dari Hadoop 2.0. Ini pada dasarnya mengelola sumber daya di lingkungan yang berkerumun. Broker YARN berinteraksi dengan sumber daya komputasi (atas nama aplikasi) dan menetapkan sumber daya untuk setiap aplikasi berdasarkan kriteria penyaringan yang berbeda.

Pada artikel ini, kita akan melihat keuntungan atas BENANG atas Hadoop 1.0.

Apa Kerangka YARN?

Yet SEBUAHnother Rsumber daya Negotiator adalah komponen inti dari Hadoop 2.0, yang mengelola sumber daya di lingkungan yang berkerumun. Kerangka kerja Hadoop YARN adalah versi lanjutan dari Hadoop 1.0 yang memberikan peningkatan kinerja, yang bermanfaat bagi ekosistem Hadoop dan seluruh jajaran teknologi yang terkait dengannya. Sekarang kita sedikit lebih mengenal YARN, mari kita lihat lebih dekat pada Hadoop 1.0 dan YARN.


Keterbatasan Kerangka Hadoop 1.0

Untuk memahami manfaat dari kerangka YARN, sangat penting untuk memahami cara kerja Hadoop 1.0 dan apa batasan kerangka ini.

Di sinilah peran JobTracker masuk. Ia mengatur sumber daya cluster dan menentukan pelaksanaan pekerjaan MapReduce. Singkatnya, JobTracker menjadwalkan dan mencadangkan slot tugas, dan mengonfigurasi dan memantau setiap tugas yang sedang berjalan. Jika tugas gagal, itu akan mengalokasikan kembali slot baru untuk memulai tugas lagi. Setelah tugas selesai, JobTracker merilis slot untuk tugas-tugas lain dan membersihkan sumber daya sementara.

Kelemahan utama dari pendekatan di atas:

  • Ketersediaan - JobTracker adalah satu-satunya titik ketersediaan di Hadoop 1.0. Ini berarti bahwa jika JobTracker gagal, semua tugas akan dimulai kembali secara default.
  • Skalabilitas terbatas - Karena JobTracker melakukan banyak tugas dan berjalan pada satu mesin, mesin lain yang tersedia tidak digunakan; karenanya, menghasilkan skalabilitas terbatas.
  • Pemanfaatan sumber daya - Dalam pendekatan di atas, slot peta dan pengurangan slot sudah ditentukan sebelumnya. Mungkin terjadi bahwa salah satu slot penuh tetapi slot mesin lainnya kosong. Karena slot kosong dicadangkan, mereka akan duduk diam alih-alih berkompromi untuk slot penuh. Ini dapat menyebabkan masalah pemanfaatan sumber daya.
  • Menjalankan aplikasi non-MapReduce - JobTracker adalah aplikasi yang dibuat untuk kerangka kerja MapReduce. Masalah muncul ketika aplikasi non-MapReduce mencoba dijalankan dalam kerangka kerja ini. Aplikasi perlu menyesuaikan diri dengan pemrograman framework MapReduce agar dapat berjalan dengan sukses. Beberapa masalah umum yang dihadapi karena ini termasuk masalah dengan:
    • Permintaan ad-hoc
    • Analisis waktu nyata
    • lewat pendekatan
  • Kegagalan dalam cascading - Salah satu masalah utama dalam kerangka kerja ini terjadi ketika jumlah node lebih besar dari 4000. Dalam skenario seperti itu, kegagalan cascading terjadi, mengakibatkan kerusakan pada cluster lengkap.

Ini adalah beberapa batasan utama yang dihadapi saat bekerja dengan kerangka kerja ini. Ada beberapa batasan kecil lainnya juga, yang tidak disebutkan. Kerangka BENANG diperkenalkan untuk mengatasi keterbatasan ini.


Tanpa Bug, Tanpa Stres - Panduan Langkah Demi Langkah Anda untuk Membuat Perangkat Lunak yang Mengubah Hidup Tanpa Menghancurkan Kehidupan Anda

Anda tidak dapat meningkatkan keterampilan pemrograman Anda ketika tidak ada yang peduli dengan kualitas perangkat lunak.

Kerangka BENANG dan Keuntungannya

Kerangka kerja YARN, yang diperkenalkan di Hadoop 2.0, dimaksudkan untuk berbagi tanggung jawab MapReduce dan menangani tugas manajemen cluster. Ini memungkinkan MapReduce untuk mengeksekusi pemrosesan data saja dan karenanya, merampingkan proses.

BENANG membawa konsep manajemen sumber daya pusat. Ini memungkinkan banyak aplikasi untuk berjalan di Hadoop, berbagi manajemen sumber daya yang sama.

Beberapa komponen utama dari kerangka BENANG adalah:

  • ResourceManager - Komponen ResourceManager adalah negosiator dalam sebuah cluster untuk semua sumber daya yang ada di cluster itu. Selain itu, komponen ini diklasifikasikan menjadi manajer aplikasi yang bertanggung jawab untuk mengelola pekerjaan pengguna. Dari Hadoop 2.0, pekerjaan MapReduce apa pun akan dianggap sebagai aplikasi.
  • ApplicationMaster - Komponen ini adalah tempat di mana pekerjaan atau aplikasi ada. Itu juga mengelola semua pekerjaan MapReduce dan disimpulkan setelah pemrosesan pekerjaan selesai.
  • NodeManager - Komponen manajer simpul bertindak sebagai server untuk riwayat pekerjaan. Bertanggung jawab untuk mengamankan informasi dari pekerjaan yang diselesaikan. Itu juga melacak pekerjaan pengguna bersama dengan alur kerja mereka untuk node tertentu.

Ingatlah bahwa kerangka YARN memiliki komponen yang berbeda untuk mengelola tugas yang berbeda, mari kita lihat bagaimana ia mengimbangi keterbatasan Hadoop 1.0.

  • Pemanfaatan sumber daya yang lebih baik - Kerangka kerja YARN tidak memiliki slot tetap untuk tugas. Ini menyediakan manajer sumber daya pusat yang memungkinkan Anda untuk berbagi beberapa aplikasi melalui sumber daya bersama.
  • Menjalankan aplikasi non-MapReduce - Di YARN, penjadwalan dan kemampuan manajemen sumber daya dipisahkan dari komponen pemrosesan data. Ini memungkinkan Hadoop untuk menjalankan beragam jenis aplikasi yang tidak sesuai dengan pemrograman kerangka Hadoop. Cluster Hadoop sekarang mampu menjalankan kueri interaktif independen dan melakukan analisis real-time yang lebih baik.
  • Kompatibilitas mundur - YARN hadir sebagai kerangka kerja kompatibel-mundur, yang berarti pekerjaan MapReduce apa pun yang ada dapat dieksekusi di Hadoop 2.0.
  • JobTracker tidak ada lagi - Dua peran utama dari JobTracker adalah manajemen sumber daya dan penjadwalan pekerjaan. Dengan diperkenalkannya kerangka BENANG ini sekarang dipisahkan menjadi dua komponen terpisah, yaitu:
    • NodeManager
    • Manajer Sumber Daya

Kesimpulan

Pengenalan kerangka BENANG telah membuatnya lebih mudah untuk membangun aplikasi untuk pengembang Hadoop. Sekarang, aplikasi tidak lagi diperlukan untuk diimplementasikan dengan alat pihak ketiga. YARN adalah perubahan besar yang akan memungkinkan pengguna untuk mempertimbangkan Hadoop 2.0 untuk membuat aplikasi dan memanipulasi data secara lebih efektif. Seiring waktu, akan ada perkembangan lebih lanjut untuk meningkatkan kegunaan Hadoop. Untuk saat ini, kerangka YARN akan memainkan peran penting dalam menangani masalah yang ada dan menciptakan lingkungan yang bebas gangguan yang lebih fleksibel daripada versi sebelumnya dari model MapReduce.