Apache Kafka adalah platform streaming data yang bertanggung jawab untuk streaming data dari sejumlah sources untuk banyak targets. Sumber disebut jugaproducers. Data yang dihasilkan dibutuhkan oleh kelompok yang sama sekali berbeda yang disebut consumers untuk berbagai tujuan. Kafka adalah lapisan yang berada di antara produsen dan konsumen dan menggabungkan data ke dalam saluran yang dapat digunakan. Juga Kafka itu sendiri adalah platform terdistribusi, sehingga lapisan Kafka terdiri dari berbagai server yang menjalankan kafka, server atau node ini dikenal sebagai KafkaBrokers.
Ikhtisar itu sedikit abstrak jadi mari kita lihat skenario dunia nyata, bayangkan Anda perlu memantau beberapa server web. Masing-masing menjalankan situs webnya sendiri, dan log baru terus-menerus dibuat di masing-masing situs setiap detik setiap hari. Selain itu ada sejumlah server email yang perlu Anda pantau juga.
Anda mungkin perlu menyimpan data tersebut untuk keperluan pencatatan dan penagihan, yang merupakan pekerjaan batch yang tidak memerlukan perhatian segera. Anda mungkin ingin menjalankan analitik pada data untuk membuat keputusan secara real-time yang membutuhkan input data yang akurat dan segera. Tiba-tiba Anda menemukan diri Anda dalam kebutuhan untuk merampingkan data dengan cara yang masuk akal untuk semua berbagai kebutuhan. Kafka bertindak sebagai lapisan abstraksi di mana banyak sumber dapat mempublikasikan aliran data yang berbeda dan yang diberikanconsumerdapat berlangganan aliran yang dianggap relevan. Kafka akan memastikan bahwa data tertata dengan baik. Ini adalah bagian dalam Kafka yang perlu kita pahami sebelum kita masuk ke topik Partisi dan Kunci.
