Apa Itu Apache Kafka?
Pengantar
Apache Kafka adalah platform streaming terdistribusi yang bersifat open source dan dirancang untuk menangani aliran data secara real time dengan volume tinggi. Dikembangkan awalnya oleh LinkedIn pada tahun 2010 dan menjadi proyek Apache Software Foundation pada tahun 2011, Kafka kini banyak dipakai oleh perusahaan besar untuk mengumpulkan, menyimpan, mengolah, dan mendistribusikan data secara terus menerus.
Komponen Utama
- Producer Aplikasi yang menulis (publish) data ke topik Kafka.
- Consumer Aplikasi yang membaca (subscribe) data dari topik.
- Broker Server Kafka yang menyimpan data dalam partisi dan melayani permintaan producer maupun consumer.
- Topic Kategori atau alur logika tempat data disimpan; tiap topik terbagi menjadi satu atau beberapa partisi.
- Partition Unit penyimpanan terurut dalam topik, memungkinkan paralelisme dan skalabilitas.
- Zookeeper (atau KRaft sejak versi 2.8) Layanan koordinasi yang menyimpan metadata cluster, pemilihan pemimpin partisi, dan status anggota.
Bagaimana Kafka Bekerja?
Setiap pesan yang dikirim oleh producer diberi urutan (offset) dalam partisi tertentu. Broker menyimpan urutan ini secara durable pada log file yang dapat direplikasi ke broker lain sehingga data tidak hilang bila ada kegagalan. Consumer membaca pesan secara berurutan berdasarkan offset, dan dapat mengatur offsetnya sendiri, memungkinkan konsumen untuk membaca kembali data lama bila diperlukan.
Alur Sederhana
Producer --> (publish) --> Topic (dengan Partisi) --> Broker --> (store) --> Consumer --> (subscribe)
Keunggulan Apache Kafka
- Throughput Tinggi Dapat menangani jutaan pesan per detik dengan latensi rendah.
- Skalabilitas Horizontal Tambahkan broker baru untuk meningkatkan kapasitas penyimpanan dan pemrosesan.
- Durabilitas Data direplikasi ke beberapa broker, serta disimpan di disk dengan strategi log segment.
- Replayability Consumer dapat membaca kembali data dari offset mana pun, cocok untuk analitik historis.
- Fault Tolerance Jika broker atau partisi gagal, pemimpin baru dipilih otomatis.
- Integrasi Luas Tersedia connector untuk database, sistem file, platform cloud, dan banyak framework pemrosesan stream seperti Apache Flink, Spark, dan ksqlDB.
Kasus Penggunaan Umum
- Log Pengumpulan Mengumpulkan log aplikasi, sensor IoT, atau clickstream secara real time.
- Event Sourcing Menyimpan urutan perubahan state sebagai event yang dapat diputar ulang.
- Messaging System Pengganti tradisional message broker (mis. RabbitMQ) dengan kebutuhan throughput tinggi.
- Stream Processing Mengolah aliran data secara langsung menggunakan Kafka Streams atau ksqlDB.
- Integrasi Data Menjadi gula pipa (pipeline) antara sistem sumber (mis. database) dan target (data warehouse, lake).
Arsitektur Penyimpanan
Kafka menyimpan setiap partisi sebagai urutan log yang tidak dapat diubah. Log dibagi menjadi segmen file (biasanya 1 GB) yang dapat di compact atau di delete berdasarkan kebijakan retensi (waktu atau ukuran). Dua mode retensi utama:
- Time based retention Hapus segmen yang lebih tua dari periode tertentu.
- Size based retention Batasi total ukuran log per topik.
Fitur log compaction memungkinkan penyimpanan nilai terbaru per kunci, berguna untuk tabel keadaan (state tables).
Keamanan
Kafka mendukung beberapa lapisan keamanan:
- Authentication SASL (plain, GSSAPI/Kerberos, SCRAM) atau TLS client certificates.
- Authorization ACL yang mengatur hak akses producer/consumer per topik.
- Transport Encryption TLS untuk enkripsi data dalam perjalanan.
Pengaturan dan Operasional
Berikut contoh file konfigurasi server.properties paling dasar:
broker.id=0 listeners=PLAINTEXT://:9092 log.dirs=/var/lib/kafka num.partitions=3 default.replication.factor=2 zookeeper.connect=localhost:2181
Untuk proses produksi, biasanya gunakan Docker atau Kubernetes. Contoh docker compose.yml sederhana:
version: '3.8' services: zookeeper: image: confluentinc/cp-zookeeper:7.5 environment: ZOOKEEPER_CLIENT_PORT: 2181 kafka: image: confluentinc/cp-kafka:7.5 depends_on: - zookeeper ports: - "9092:9092" environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
Pemilihan Antara Kafka dan Alternatif Lain
Jika Anda membutuhkan:
- Throughput sangat tinggi & penyimpanan terdistribusi Kafka.
- Messaging dengan pola request reply atau transaksional ringan RabbitMQ atau ActiveMQ.
- Event streaming dengan query SQL langsung ksqlDB (berbasis Kafka) atau Apache Flink.
Kesimpulan
Apache Kafka tidak sekadar sistem antrian pesan; ia adalah fondasi infrastruktur data real time yang dapat diandalkan, skalabel, dan tahan kegagalan. Dengan arsitektur log terdistribusi, kemampuan replay data, serta ekosistem yang luas, Kafka menjadi pilihan utama bagi perusahaan yang ingin membangun arsitektur event driven, analytics streaming, atau integrasi data modern.