分布式發布與訂閱系統Apache Kafka在即將發布的2.8版本,使用Kafka內部的Quorum控制器來取代ZooKeeper,因此用戶第一次可在完全不需要ZooKeeper的情況下執行Kafka,這不只節省運算資源,并且也使得Kafka效能更好,還可支持規模更大的集群。
過去Apache ZooKeeper是Kafka這類分布式系統的關鍵,ZooKeeper扮演協調代理的角色,所有代理服務器啟動時,都會連接到Zookeeper進行注冊,當代理狀態發生變化時,Zookeeper也會儲存這些數據,在過去,ZooKeeper是一個強大的工具,但是畢竟ZooKeeper是一個獨立的軟件,使得Kafka整個系統變得復雜,因此官方決定使用內部Quorum控制器來取代ZooKeeper。
這項工作從去年4月開始,而現在這項工作取得部分成果,用戶將可以在2.8版本,在沒有ZooKeeper的情況下執行Kafka,官方稱這項功能為Kafka Raft元數據模式(KRaft)。在KRaft模式,過去由Kafka控制器和ZooKeeper所操作的元數據,將合并到這個新的Quorum控制器,并且在Kafka集群內部執行,當然,如果使用者有特殊使用情境,Quorum控制器也可以在專用的硬件上執行。
KRaft協定使用事件驅動機制來追蹤整個集群的元數據,過去必須依賴RPC來處理的任務,現在受益于事件驅動以及實際的日志傳輸,這些改變所帶來的好處,便是讓Kafka仍夠支持更多的分割。
過去Kafka因為帶著ZooKeeper,因此被認為擁有笨重的基礎設施,而在移除ZooKeeper之后,Kafka更輕巧更適用于小規模工作負載,輕量級單體程序適合用于邊緣以及輕量級硬件解決方案。
值得注意的是,在搶先體驗版中,有部分像是ACL、安全以及交易等功能都尚未支持,而且在KRaft模式下,也還不支持重新分配分割和JBOD,官方提到,這些功能會在今年稍晚的版本中提供,由于很多功能處于測試階段,不建議大家將其用于生產環境中。
參考:https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/https://www.ithome.com.tw/news/143569
編輯:jq
-
控制器
+關注
關注
112文章
16445瀏覽量
179451 -
RPC
+關注
關注
0文章
111瀏覽量
11575 -
ACL
+關注
關注
0文章
61瀏覽量
12023 -
zookeeper
+關注
關注
0文章
34瀏覽量
3712
原文標題:Kafka 2.8獨立運行,不再需要ZooKeeper
文章出處:【微信號:AndroidPush,微信公眾號:Android編程精選】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
基于ptp的分布式系統設計
HarmonyOS Next 應用元服務開發-分布式數據對象遷移數據權限與基礎數據
基于ArkTS語言的OpenHarmony APP應用開發:公共事件的訂閱和發布
安科瑞分布式光伏系統在某重工企業18MW分布式光伏中應用
![安科瑞<b class='flag-5'>分布式</b>光伏<b class='flag-5'>系統</b>在某重工企業18MW<b class='flag-5'>分布式</b>光伏中應用](https://file1.elecfans.com/web2/M00/FE/1F/wKgaomaY0RKATnkVAAB9kGo65bk212.png)
openEuler 24.03 LTS Meetup:聚焦AI、嵌入式與分布式創新
鴻蒙開發接口數據管理:【@ohos.data.distributedDataObject (分布式數據對象)】
![鴻蒙開發接口數據管理:【@ohos.data.distributedDataObject (<b class='flag-5'>分布式</b>數據對象)】](https://file1.elecfans.com/web2/M00/C6/E9/wKgaomYEK1aAOyTeAADysXFhWs8242.png)
分布式SCADA系統的特點的組成
浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列
![浪潮信息<b class='flag-5'>發布</b>為大模型專門優化的<b class='flag-5'>分布式</b>全閃存儲AS13000G7-N系列](https://file1.elecfans.com/web2/M00/E2/15/wKgZomY61--ATpyVAAALqqPGbD8415.jpg)
法國FEBUS分布式光纖聲波系統發布A1 v2版本
![法國FEBUS<b class='flag-5'>分布式</b>光纖聲波<b class='flag-5'>系統</b><b class='flag-5'>發布</b>A1 v2<b class='flag-5'>版本</b>](https://file1.elecfans.com/web2/M00/C6/52/wKgaomX9IDaALTdyAAA2ieS1FwU096.png)
得瑞領新參編團體標準《高性能計算 分布式存儲系統技術要求》正式發布
![得瑞領新參編團體標準《高性能計算 <b class='flag-5'>分布式</b>存儲<b class='flag-5'>系統</b>技術要求》正式<b class='flag-5'>發布</b>](https://file1.elecfans.com//web2/M00/C2/36/wKgZomXhNtiACyfwAADo81_CK9s860.png)
評論