Isi
- Tanpa Bug, Tanpa Stres - Panduan Langkah Demi Langkah Anda untuk Membuat Perangkat Lunak yang Mengubah Hidup Tanpa Menghancurkan Kehidupan Anda
- Turun ke Bisnis
- Bagaimana Kafka Akan Mengubah Manajemen Data
Bawa pulang:
Kafka akan melakukan untuk sistem informasi apa yang LinkedIn lakukan untuk pebisnis: membuat mereka tetap terhubung dalam rentang yang luas.
Dengan percaya penuh semangat pada sesuatu yang masih belum ada, kita menciptakannya. Yang tidak ada adalah apa pun yang kita tidak cukup inginkan.~ Franz Kafka
Kebutuhan tetap menjadi ibu dari penemuan. Seperti yang pernah dikatakan oleh seorang konsultan yang cerdik kepada saya, "Jika ada sesuatu yang perlu terjadi dalam suatu organisasi, itu terjadi." Maksudnya ada dua: 1) beberapa orang akan selalu menemukan cara untuk menyelesaikan sesuatu; dan, 2) manajemen senior, atau bahkan manajemen menengah, mungkin tidak tahu persis bagaimana hal-hal dilakukan dalam perusahaan mereka sendiri.
Jika kita memperluas metafora itu ke seluruh jagat raya manajemen data, kita dapat melihat transformasi sedang terjadi saat ini. Tekanan mentah dari data besar, dikombinasikan dengan poros data streaming, menciptakan begitu banyak tekanan sehingga sistem legacy berjumbai di tepinya, jika tidak runtuh sama sekali. Meskipun demikian, ada banyak profesional yang melakukan pekerjaan mereka saat ini, yang sebagian besar tidak menyadari kenyataan ini.
Perusahaan-perusahaan yang digerakkan oleh data, didorong oleh data memiliki kursi baris depan, dan dalam banyak hal mendorong perubahan ini. Pertimbangkan bagaimana pembangkit tenaga listrik seperti Yahoo !, dan LinkedIn telah mengubah industri perangkat lunak perusahaan dengan sumbangan luar biasa mereka menjadi sumber terbuka: Hadoop, Cassandra, dan sekarang Kafka, yang semuanya telah digembalakan oleh Apache Foundation, yang juga merupakan pemain sentral dalam metamorfosis ini. .
Apa hasil dari semua perubahan ini? Apa yang disaksikan hari ini adalah klasifikasi ulang dan restrukturisasi manajemen data itu sendiri. Ini bukan untuk mengatakan bahwa sistem warisan sekarang akan dicabut dan diganti. Setiap veteran industri akan memberi tahu Anda bahwa pembubaran grosir sistem warisan terjadi sesering Chicago Chicago memenangkan World Series. Ini peristiwa langka, untuk sedikitnya.
Apa yang sebenarnya terjadi adalah bahwa sebuah super-struktur sedang dibangun di seluruh sistem dunia lama. Pertimbangkan analogi jalan raya antarnegara bagian, yang sering naik di atas kota-kota dan kota-kota yang dilayaninya, dirancang untuk mengantarkan orang dan barang ke pusat-pusat populasi ini, dan memberikan jalan keluar bagi siapa saja dan apa pun di dalamnya. Mereka tidak mengganti jalan yang sudah ada sebanyak ditambah dengan mereka dengan alternatif kecepatan tinggi.
Itulah yang dilakukan Apache Kafka: menyediakan rute kecepatan tinggi untuk perpindahan data antara dan di antara sistem informasi. Untuk mengikuti analogi jalan raya, masih banyak perusahaan yang menggunakan antrian linier, atau standar lama ETL (extract-transform-load); tetapi jalur ini memiliki batas kecepatan rendah, dan ada banyak lubang; terlebih lagi, biaya perawatan seringkali terlalu tinggi; signage buruk.
Kafka menawarkan metode alternatif untuk mengirimkan data, yang jelas real-time, terukur dan tahan lama. Ini berarti bahwa Kafka tidak hanya kendaraan penggerak data, tetapi juga pengganda data; dan sampai batas tertentu, teknologi database terdistribusi. Kita harus berhati-hati dalam mengambil analogi terlalu jauh, karena ada karakteristik dari database yang sesuai dengan ACID yang belum dimiliki Kafka. Namun, perubahan itu nyata.
Ini adalah berita bagus untuk lanskap informasi, karena data sekarang bebas untuk bergerak tentang negara - dan dunia, dalam hal ini. Apa yang dulunya merupakan kendala yang menyakitkan, yaitu memukul jendela batch untuk proses ETL, sekarang menghilang begitu banyak karena kabut memberi jalan untuk membersihkan langit di bawah sinar matahari yang terik. Ketika memindahkan data dari satu sistem ke sistem lainnya menjadi tanpa batas, era peluang baru muncul.
Tanpa Bug, Tanpa Stres - Panduan Langkah Demi Langkah Anda untuk Membuat Perangkat Lunak yang Mengubah Hidup Tanpa Menghancurkan Kehidupan Anda
Anda tidak dapat meningkatkan keterampilan pemrograman Anda ketika tidak ada yang peduli dengan kualitas perangkat lunak.
Manusia mungkin akan mewakili gesekan paling banyak di jalan menuju data masa depan yang baru. Kebiasaan susah hilang. Nary a CIO terlalu bersemangat untuk membuat perubahan grosir ke sistem perusahaan. Kata seorang eksekutif senior yang cerdas tentang peran itu: "Bersiaplah untuk kesepian." Dalam setahun setelah komentar itu, ia adalah seorang konsultan. Ini bukan jalan yang mudah, mencoba mengelola dunia data perusahaan yang sangat sulit.
Berita baiknya adalah bahwa Kafka menyediakan jalan menuju masa depan. Karena berfungsi sebagai bus bertenaga tinggi, multi-faceted, itu menciptakan jembatan antara sistem warisan dan rekan-rekan mereka yang berwawasan ke depan. Dengan demikian, organisasi yang merangkul peluang baru ini dengan pikiran terbuka dan anggaran yang cukup akan dapat melangkah ke dunia baru, tanpa meninggalkan yang lama. Itu masalah besar.
Turun ke Bisnis
Meskipun Apache Kafka adalah teknologi open-source, gratis untuk diunduh dan digunakan oleh siapa saja, orang-orang yang membuat perangkat lunak ini untuk LinkedIn telah memisahkan entitas terpisah yang disebut Confluent, yang berfokus pada pengerasan penawaran untuk penggunaan perusahaan. Sama seperti Cloudera, Hortonworks dan MapR telah membangun bisnis mereka di sekitar proyek open-source Apache Hadoop, sehingga Confluent berusaha untuk menghasilkan uang Kafka.
Dalam wawancara InsideAnalysis baru-baru ini, CEO dan co-founder Confluent Jay Kreps menjelaskan asal-usulnya di LinkedIn:
"Kami mencoba untuk memecahkan beberapa masalah yang berbeda di sana. Salah satunya, kami memiliki semua sistem data yang berbeda dengan berbagai jenis data. Kami memiliki basis data dan kami memiliki file log dan kami memiliki metrik tentang server dan kami memiliki pengguna mengklik pada beberapa hal. Mendapatkan semua data di sekitar - karena semakin besar - benar-benar sulit. Kekuatan data hanya ada jika Anda bisa mendapatkannya ke aplikasi, atau pemrosesan, atau sistem yang membutuhkannya. Itu adalah masalah besar.
"Masalah lain yang kami miliki adalah kami telah mengadopsi Hadoop, dan itu adalah sesuatu yang saya lakukan. Kami memiliki platform pemrosesan offline yang luar biasa yang dapat kami ukur dan kami dapat memasukkan semua data kami. Untuk LinkedIn semua data kami terjadi secara nyata Ada generasi data yang terus-menerus. Selalu ada ketidakcocokan ini ketika kami mencoba untuk benar-benar membangun bagian-bagian penting dari bisnis dari data kami; antara sesuatu yang berjalan sekali sehari, mungkin pada malam hari, dan menghasilkan hasil pada hari berikutnya, dan data berkelanjutan semacam ini - waktu interaksi singkat - yang harus Anda kejar.Kami ingin dapat melakukan sesuatu yang telah ada di dunia akademis untuk sementara waktu, tetapi bukan benar-benar hal yang utama, yang harus dapat memanfaatkan dan memproses aliran data saat itu dihasilkan, bukan saat mereka duduk. "
Baik. Thats persis apa yang Confluent sekarang berusaha lakukan dengan data perusahaan dari semua bentuk dan ukuran. Kesempatan bermain? Greenfield. Sejujurnya, dalam seluruh sejarah perangkat lunak perusahaan, orang dapat berargumen bahwa pasar yang dapat ditangani untuk teknologi ini benar-benar membutuhkan. Tidak ada satu pun organisasi besar, atau bahkan bisnis kecil yang padat data, yang tidak dapat mengambil manfaat besar dari teknologi ini.
Ini terutama benar karena aspek neurologis dari teknologi ini; bukan hanya pikiran yang terlibat, tetapi sifat apa yang dilakukan Kafka untuk sistem informasi. Karena Kafka dapat digunakan untuk mengelola pergerakan data di seluruh organisasi, itu dapat dipandang lebih dari sekadar polisi lalu lintas, tetapi lebih merupakan otak dari operasi itu sendiri. Apakah pada tahap awal visi itu, tetapi yakinlah, itu nyata.
Bagaimana Kafka Akan Mengubah Manajemen Data
Untuk memahami bagaimana Kafka akan mengubah sifat manajemen data, pikirkan saja cara LinkedIn mengubah jaringan. Menemukan kolega menjadi jauh lebih mudah; tetap berhubungan dengan orang-orang sekarang mudah. Kafka akan melakukan untuk sistem informasi apa yang LinkedIn lakukan untuk pebisnis: membuat mereka tetap terhubung di rentang terluas di bumi ini.
Spin-off Confluent adalah simbol dari sesuatu yang kita sebut sebagai Inovasi Baru, sebuah gerakan yang didorong oleh decoupling pengembangan perangkat lunak dan mentalitas sumber tertutup, dipandu oleh pencipta teknologi open-source, didorong oleh sejumlah besar modal ventura, dimonetisasi oleh perusahaan nirlaba yang berupaya merevolusi cara organisasi dan orang-orang membuat, mengumpulkan, menganalisis, dan meningkatkan data.
Mengutip Franz Kafka, "Dari titik tertentu dan seterusnya, tidak ada jalan untuk kembali. Itulah titik yang harus dicapai."
Kami telah melewati Rubicon. Tidak ada jalan untuk kembali sekarang.