Alibaba Cloud Perkenalkan Fitur Terbaru Apache Flink 2.0 di Flink Forward Asia

MOMSMONEY.ID - Alibaba Cloud, perusahaan teknologi digital dan kecerdasan dari Alibaba Group, memperkenalkan fitur-fitur inovatif Apache Flink 2.0. 

Fitur tersebut adalah sebuah frameworkopen-source yang dirancang untuk memadukan stream-processing dan batch-processing oleh Apache Software Foundation.

Sebagai pendukung utama jangka panjang, Alibaba Cloud telah berperan penting dalam mengembangkan komunitas Apache Flink, khususnya di Asia.   

Feng Wang, Head of Open Data Platform at Alibaba Cloud Intelligence, menyampaikan, dengan semakin besarnya kebutuhan akan data, penting bagi kita untuk memiliki pemrosesan data yang efisien, scalable, dan terintegrasi.

PeluncuranFlink 2.0 yang akan datang adalah perkembangan besar sejak teknologi ini diperkenalkan pada 2016, sekaligus menandai sepuluh tahun keberhasilannya sebagai layanan unggulan Apache. 

"Kami berkomitmen untuk terus mendukung komunitas Apache Flink dan akan mengeksplorasiintegrasi kemampuan canggih Flink 2.0 ke dalam solusi cloud kami untuk pelanggan global dalam waktu dekat," kata Wang dalam keterangan tertulis, Rabu (11/12).  

Fitur-fitur Baru Apache Flink 2.0 dijadwalkan rilis pada awal 2025. 

Baca Juga: Alibaba DAMO Academy Meluncurkan Model Perkiraan Cuaca Canggih “Baguan”

Apache Flink 2.0 menandai evolusi besar dalam teknologi pemrosesan data, dengan penekanan pada kemajuan signifikan menuju arsitektur terpadu untuk pemrosesan batch dan stream.

Pendekatan ini menyederhanakan komputasi di era cloud-native, sekaligus menjadi landasan untuk menangani beban kerja hybrid yang penting di era GenAI, di mana kemampuan pemrosesan data yang canggih sangat diperlukan untuk aplikasi AI baru.   

Kontribusi utama Alibaba Cloud dalam Apache Flink 2.0 mencakup:

Disaggregated State Storage and Management 

Untuk mendukung teknologi cloud modern Flink, Alibaba Cloud memperkenalkan fitur baru di Flin 2.0 yang disebut Disaggregated State Storage and Management.

Fitur ini memungkinkan penggunaan penyimpanan jarak jauh sebagai pengganti disk lokal, sehingga pengguna dapat mengelola data berukuran besar dengan lebih mudah.

Arsitektur baru ini memungkinkan pengguna menangani kumpulan data besar tanpa terkendala kapasitas disk lokal, rescalepekerjaan dengan lebih cepat dan lebih efisien, mengurangi lonjakan sumber daya, serta mencapai checkpoint yang ringan dan cepat secara native.  

Materialized Table

Fitur ini dirancang untuk lebih menyederhanakan pemrosesan data batch dan streaming sekaligus memberikan pengalaman pengembangan yang terintegrasi.

Dalam rilis Flink 2.0 mendatang, Alibaba Cloud meningkatkan dukungan operasional untuk Materialized Tables, termasuk integrasi konektor dengan format lake terkini dan scheduler yang siap guna.  

Baca Juga: Alibaba Cloud Bermitra dengan Kominfo dan Pemprov Jabar Dorong Inovasi AI

Adaptive Batch Execution

Dengan mengoptimalkan rencana pengolahan data secaradinamis disesuaikan dengan logis dan fisik berdasarkan insight dari eksekusi, Flink 2.0 meningkatkan efisiensi dan kinerja pemrosesan batch dan analisis data secara real-time Online Analytical Processing (OLAP). 

Arsitektur Streaming Lakehouse

Dengan pemrosesan stream-batch yang terpadu, arsitektur ini mendukung analitik data real-time dengan lebih baik melalui pemanfaatan penyimpanan data yang terintegrasi, open format, dan efisiensi biaya dalam paradigma Lakehouse.

Dengan demikian, pengguna dapat menangani pembaruan data yang dinamisdan kueri dengan tingkat ketepatan data yang bervariasi, sehinga memenuhi berbagai kebutuhan analitik.   

Transformasi Bisnis dengan Apache Flink Mekari, perusahaan penyedia software-as-a-service (SaaS) di Indonesia, memanfaatkan kemampuan pemrosesan stream Flink 1.0 untuk mengatasi tantangan dalam pengolahan dan integrasi data secara real-time.

Dengan Flink, Mekari berhasil menangkap data secara real-time dari berbagai sumber dan mengintegrasikannya dengan mulus ke dalam MaxCompute, platform pemrosesan data skala besar milik Alibaba. 

Baca Juga: Telkom dan Alibaba Cloud Jalin Kerja Sama Perkuat Ekosistem Digital

Integrasi ini tidak hanya mengurangi waktu pemrosesan, tetapi juga meningkatkan kecepatan dan kualitas pengambilankeputusan melalui proses streaming data yang andal. Sehingga, mendorong efisiensi operasional dan memberikan wawasan yang tepat waktu dan akurat kepada para pemangku kepentingan. 

Wang menambahkan, Apache Flink 2.0 menghadirkan masa depan pemrosesan data dan potensi dampaknya pada industri cloud+AI.

Dengan memodernisasi komponennya, mengadopsi lebih banyak inovasi AI, dan meningkatkan integrasi dengan proyek-proyek Apache lainnya, Apache Flink telah menetapkan standar baru untuk industri.

"Kami berharap dapat terus terlibat dengan komunitas Apache Flink untuk memaksimalkan potensi teknologi revolusioner ini," kata Wang. 

Dalam acara tersebut, Alibaba Cloud juga mengumumkan telah membuka akses open-source untuk Fluss (Flink Unified Streaming Storage) di GitHub, sebuah solusi penyimpanan streaming yang dirancang untuk analitik real-time dan berfungsi sebagai lapisan data real-time pada arsitektur Lakehouse. 

Fluss menjembatani kesenjangan antara data streaming dan data Lakehouse, memfasilitasi pengumpulan dan pemrosesan data dengan latensi rendah dan throughput tinggi.

Solusi ini terintegrasi secara mulus dengan mesin komputasi terkemuka, termasuk Apache Flink, untuk meningkatkan utilitas dan efisiensinya dalam pengelolaan data.   

Alibaba Cloud terus berkontribusi pada pengembangan komunitas open-source Apache Flink, mengoptimalkan lapisan SQL dan Runtime Flink, serta mengintegrasikan Flink dengan proyek ekosistem lainnya.

Inovasi-inovasi ini telah sangat mendorong kemajuan mekanisme Flink secara keseluruhan untuk meningkatkan skalabilitas, keandalan, stabilitas, dan kinerja. 

Cek Berita dan Artikel yang lain di Google News