Isi
- Apa itu Arsitektur Data Generasi Selanjutnya?
- Ekspektasi Dari Hadoop dalam Con of Next-Generation Architecture
- Nilai Apa yang Dapat Hadoop Tambahkan ke Arsitektur Data Generasi Selanjutnya?
- Peningkatan Kinerja sebagai Arsitektur Data Perusahaan
- Perbedaan Antara Hadoop dan Teknologi Lainnya
- Kesimpulan
Sumber: Romeo1232 / Dreamstime.com
Bawa pulang:
Hadoop akan menjadi pemain kunci dalam arsitektur data generasi mendatang karena kemampuannya menangani sejumlah besar data.
Utilitas Hadoop mulai melampaui pemrosesan data besar dan analitik ketika industri mulai menuntut lebih dari itu. Hadoop terus melayani beragam kebutuhan yang terkait dengan arsitektur data perusahaan sambil mempertahankan kekuatan aslinya. Daftar apa yang dapat dilakukan dan saat ini dilakukan Hadoop cukup panjang. Hadoop sekarang dapat memproses volume besar beban kerja transaksional, tugas yang sebelumnya diharapkan dari teknologi tradisional. Ke depannya, ada banyak kemungkinan untuk Hadoop di masa depan. Sebagai contoh, sistem transaksi berbasis SQL dapat memanfaatkan mesin Hadoop SQL dan Hadoop juga akan menambahkan banyak kemampuan RDBMS. Anda dapat mengatakan bahwa Hadoop menjadi hibrida dari pemrosesan data dan kemampuan analitis dengan kemampuan arsitektur perusahaan.
Apa itu Arsitektur Data Generasi Selanjutnya?
Sederhananya, arsitektur data generasi berikutnya adalah bentuk arsitektur data yang berkembang. Segala sesuatu, termasuk model data, kebijakan data, aturan dan standar yang mengatur bagaimana data dikumpulkan, disimpan, diatur, dianalisis atau diolah, diintegrasikan, digunakan dan dikeluarkan, telah berkembang di bawah arsitektur data generasi berikutnya.
Perbedaan utama antara arsitektur data sebelumnya dan arsitektur data generasi berikutnya adalah kemampuannya untuk mengumpulkan, menyimpan, dan memproses volume data yang sangat besar, yang juga dikenal sebagai data besar, secara real time. Arsitektur melakukan semua tugas kompleks ini tanpa mengorbankan standar privasi, keamanan, dan tata kelola data.
Arsitektur data generasi mendatang dihadapkan dengan banyak tantangan. Tidak mudah menangani volume, kecepatan, dan variasi data besar. Selain itu, persyaratan untuk mengoptimalkan beban kerja sistem, meningkatkan kinerja, kecepatan dan akurasi, dan pengurangan biaya. Tidak perlu dikatakan, arsitektur data sebelumnya tidak harus mengelola permintaan tersebut.
Jadi, CIO dan arsitek informasi ingin menemukan solusi yang membantu mereka mencapai tujuan mereka. Operasional Hadoop telah menjadi fokus selama beberapa waktu dalam kon ini. Bagian berikut akan membahas bagaimana operasional Hadoop dapat memecahkan masalah.
Ekspektasi Dari Hadoop dalam Con of Next-Generation Architecture
Perusahaan berada di bawah tekanan yang meningkat untuk memberikan hasil yang lebih baik dan efeknya mengalir ke harapan yang ditempatkan pada teknologi. Jadi, Hadoop tidak lagi diharapkan hanya memproses data. CIO dan CTO menginginkan lebih banyak dari Hadoop. Diberikan di bawah ini adalah daftar harapan dari Hadoop. Bahkan, Hadoop telah memenuhi beberapa harapan ini.
Hadoop diharapkan dapat bekerja dengan sistem transaksi yang didasarkan pada SQL dan telah membuat, membaca, memperbarui, dan menghapus kemampuan. Sistem transaksi akan memanfaatkan mesin SQL. Sistem juga akan memiliki kepatuhan penuh terhadap Sistem Operasi Portabel Antarmuka (POSIX) dan kemampuan memproses volume transaksi yang tinggi.
Hadoop diharapkan untuk mendukung fitur-fitur seperti cadangan, toleransi kesalahan, pemulihan dan pemulihan bencana. Agar Hadoop berevolusi menjadi sistem dengan kemampuan RDBMS, ia harus kompatibel dengan perangkat TI yang ada.
Hadoop sudah bekerja untuk memenuhi harapan, sebagaimana terbukti dari beberapa perkembangan. Hadoop dapat memberikan analisis waktu nyata dan respons cepat berdasarkan dukungan manajemen sumber daya yang disediakan oleh YARN. YARN adalah sistem operasi berskala besar dan terdistribusi untuk aplikasi data besar selain menjadi manajer sumber daya. Perkembangan lain seperti Apache Storm, arsitektur dalam-memori terdistribusi seperti Apache Spark, Apache Hive, Drill dan MapR-FS (pengganti HDFS berkinerja tinggi), diketahui berfungsi, untuk menawarkan berbagai kemampuan basis data lengkap, seperti cadangan, pemulihan bencana, toleransi kesalahan, dll. (Untuk lebih lanjut tentang YARN, lihat Apa Keuntungan Kerangka Hadoop 2.0 (YARN)?)
Nilai Apa yang Dapat Hadoop Tambahkan ke Arsitektur Data Generasi Selanjutnya?
Nilai-nilai operasional yang dapat ditambahkan Hadoop ke arsitektur data generasi selanjutnya dapat dilihat dari dua perspektif: satu, apakah memenuhi harapan yang dijelaskan di atas, dan dua, apakah itu melakukan sesuatu yang tambahan. Diberikan di bawah ini adalah nilai-nilai menonjol yang dapat dibawa oleh operasional Hadoop.
Hadoop sekarang dapat memberikan lebih banyak skalabilitas dan pengelolaan data dalam platformnya melalui HDFS. Dan sistem operasi data telah diaktifkan melalui aplikasi BENANG Hadoop. Strategi ini mewakili perubahan dalam arsitektur data pada tingkat mendasar. Sekarang, Hadoop dapat menyimpan berbagai jenis data seperti basis data berorientasi transaksi, basis data grafik dan basis data dokumen dan data ini dapat diakses melalui aplikasi YARN. Tidak perlu menggandakan atau memindahkan data ke lokasi lain.
Peningkatan Kinerja sebagai Arsitektur Data Perusahaan
Operasional Hadoop sedang dalam perjalanan untuk menjadi sistem inti arsitektur data perusahaan. Sebagai Hadoop semakin ke dalam arsitektur data perusahaan, silo data akan dihilangkan sebagai garis di antara mereka dihilangkan. Akan ada peningkatan cepat di hampir semua aspek. Perbaikan akan dilakukan dalam bentuk format file yang lebih efisien, kinerja mesin SQL yang lebih baik, sistem file yang ditingkatkan dan ketahanan yang akan memenuhi kebutuhan aplikasi perusahaan.
Perbedaan Antara Hadoop dan Teknologi Lainnya
Di masa lalu, perbedaan utama antara Hadoop dan teknologi perusahaan data adalah kemampuan pemrosesan data, pelaporan, dan analitik Hadoop yang besar. Sekarang, ketika operasional Hadoop menjadi semakin banyak menjadi bagian dari arsitektur data perusahaan, perbedaan antara entitas semakin kabur. Jadi, operasional Hadoop muncul sebagai alternatif yang unggul untuk arsitektur data perusahaan yang ada.
Kesimpulan
Mengingat harapan dan kemajuan, Hadoop akan menjadi fokus industri untuk beberapa waktu. Tapi masuk akal untuk tidak terlalu fokus pada Hadoop dan mengabaikan teknologi lainnya. Ini karena teknologi lain akan membuat kemajuan pada parameter yang sama dan bahkan mungkin menyalip Hadoop. Tidak pernah baik memiliki monopoli di pasar. Adalah baik bahwa pembuat teknologi selain Hadoop mungkin termotivasi untuk memberikan produk yang lebih baik dan bahkan plug-in yang membantu Hadoop meningkatkan kinerjanya.