-
Kafka
(軟件)
鎖定
- 開發商
- Apache軟件基金會
- 軟件授權
- Apache License 2.0
- 軟件版本
- 3.5.1
- 軟件大小
- 100 MB
Kafka名字由來
kafka的架構師jay kreps對於kafka的名稱由來是這樣講的,由於jay kreps非常喜歡franz kafka,並且覺得kafka這個名字很酷,因此取了個和消息傳遞系統完全不相干的名稱kafka,該名字並沒有特別的含義。
kafka的誕生,是為了解決linkedin的數據管道問題,起初linkedin採用了ActiveMQ來進行數據交換,大約是在2010年前後,那時的ActiveMQ還遠遠無法滿足linkedin對數據傳遞系統的要求,經常由於各種缺陷而導致消息阻塞或者服務無法正常訪問,為了能夠解決這個問題,linkedin決定研發自己的消息傳遞系統,當時linkedin的首席架構師jay kreps便開始組織團隊進行消息傳遞系統的研發;
Kafka主要特性
支持通過Kafka服務器和消費機集羣來分區消息。
支持Hadoop並行數據加載。
[3]
Kafka相關術語
"Broker" Kafka集羣包含一個或多個服務器,這種服務器被稱為broker。
"Topic" 每條發佈到Kafka集羣的消息都有一個類別,這個類別被稱為Topic。(物理上不同Topic的消息分開存儲,邏輯上一個Topic的消息雖然保存於一個或多個broker上但用户只需指定消息的Topic即可生產或消費數據而不必關心數據存於何處)。
"Partition" Partition是物理上的概念,每個Topic包含一個或多個Partition。
"Producer" 負責發佈消息到Kafka broker。
"Consumer" 消息消費者,向Kafka broker讀取消息的客户端。
"Consumer Group" 每個Consumer屬於一個特定的Consumer Group(可為每個Consumer指定group name,若不指定group name則屬於默認的group)。
- 參考資料
-
- 1. Apache Kafka官網 .Apache Kafka官網[引用日期2018-1-5]
- 2. Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines) .LinkedIn.2014-04-27[引用日期2015-11-20]
- 3. 分佈式發佈訂閲消息系統 Kafka .開源中國社區.2011-05-07[引用日期2015-06-29]
- 4. Apache Kafka .Apache Kafka[引用日期2023-05-31]