Kafka Manager是開源(yuan)的(de)Kafka集(ji)群管(guan)理工(gong)具,需要通過(guo)瀏(liu)覽(lan)器(qi)才能訪問Kafka Manager的(de)地址。在Kafka Manager頁面,您(nin)可以查看Kafka集(ji)群的(de)監控、代理等信(xin)息。
前提條件
已配(pei)置如下表所示安全組(zu)。
表安全組規則
| 方向 | 協議 | 端口 | 源地址 | 說明 | 
|---|---|---|---|---|
| 入方向 | TCP | 9999 | 0.0.0.0/0 | 訪問Kafka Manager。 | 
登錄(lu)Kafka Manager
步驟 1 (可選)創建一臺與Kafka實例相同VPC和相同安全組的Windows服務器,詳細步驟請參考《彈性云主機用戶指南》的“創建彈性主機”章節。
如果是(shi)已經開啟了公網訪問(wen)(wen),該步驟為可選,在本地(di)瀏覽(lan)器中即可訪問(wen)(wen),不需(xu)要單獨的(de)Windows彈(dan)性云(yun)主機。
步驟 2 在實例詳情信息頁(ye)面,獲(huo)取Kafka Manager地址。
- 未開啟公網訪問時,Kafka Manager地址為“Manager內網訪問地址”。
圖 Kafka Manager內網訪(fang)問(wen)地址


已開啟公網(wang)訪(fang)問時,Kafka Manager地(di)址為“Manager公網(wang)訪(fang)問地(di)址”。
圖 Kafka Manager公網訪問地址


步驟 3 在瀏覽器中輸入(ru)Kafka Manager的地址,進入(ru)Kafka Manager登錄(lu)頁(ye)面。
如果(guo)是開啟了公網(wang)訪(fang)問,在本地(di)瀏覽(lan)器輸入(ru)Kafka Manager地(di)址訪(fang)問;如果(guo)沒有(you)開啟公網(wang)訪(fang)問,需要登(deng)錄步驟1的彈(dan)性云主機(ji),然(ran)后在瀏覽(lan)器輸入(ru)Kafka Manager地(di)址訪(fang)問。
步驟 4 輸入創建(jian)實例時設(she)置的Kafka Manager用戶(hu)名和密碼,即(ji)可管(guan)理Kafka集(ji)群。
查看Kafka Manager
在進入Kafka Manager集(ji)群管理(li)頁面后,您可以(yi)查看Kafka集(ji)群的監控、代(dai)理(li)等信息。
1.集群信息頁
單擊Clusters中的集群列表(biao),即可進入集群信息頁。如下圖所示(shi)。
- 圖中①區域表示功能導航欄
Cluster : 集(ji)群(qun),統計集(ji)群(qun)列(lie)表和集(ji)群(qun)詳情(qing)。
Brokers : 代理,統計當前(qian)集群(qun)中各代理的狀態信息。
Topic : 隊列,統計當前集群(qun)中的kafka隊列。
Preferred Replica Election : 強制進行一次隊列leader的最優選舉(不建議用戶操作)。
Reassign Partitions : 進行分區副本的重分配(不建議用(yong)戶(hu)操(cao)作)。
Consumers : 統計(ji)集群(qun)中的消費組狀態。
- 圖中②區域表示集群信息統計,包含集群的Topic數和集群的代理數。
圖 集群信息頁


2.集群所(suo)有代理(li)統計頁
單擊功能導航欄中的 Brokers ,即可進入代理(li)統計頁。如下圖所示(shi)。
- 圖中①區域代理列表,包含總的字節流入和字節流出。
- 圖中②集群監控信息。
圖 所有代理統計頁


3.具體代理統計頁
單擊(ji)id列表(biao)中具體的Broker,即可查看對應代理的統計信息。如下圖所示。
- 圖中①區域表示對應代理總的統計信息,包括隊列數、分區數、分區leader數、消息速率占比、寫入字節占比以及流出字節占比。
- 圖中②區域表示代理監控信息。
圖 具體(ti)Broker信(xin)息(xi)


4.查看實例(li)的Topic
在導航欄選擇 Topic ,并在下拉列表中選擇 List 。頁面(mian)如(ru)下圖所示,展示了隊列列表(biao)以及分區(qu)數(shu)等。
注意列(lie)表中以“__”開頭的(de)隊(dui)列(lie)為內部隊(dui)列(lie),嚴禁操作,否則可能(neng)導致業務問題。
圖 查看實(shi)例的(de)Topic


5.隊列詳情頁
單擊具體的Topic名稱,進入如下(xia)圖所示頁面。
- 圖中①區域表示隊列基本信息,包括副本數(Replication),分區數(Number of Partitions),消息數(Sum of partition offsets)等。
- 圖中②區域表示代理與隊列分區的對應關系。
- 圖中③區域表示該隊列的消費組列表。單擊消費組名稱可進入該消費組的詳情頁。
- 圖中④區域表示隊列的配置信息。詳情參考Kafka隊列官方配置文檔()。
- 圖中⑤區域表示隊列監控數據統計。
- 圖中⑥區域表示隊列分區信息,包括分區消息數(Latest Offset),分區leader(Leader),副本列表(Replicas),同步副本列表(In Sync Replicas)。
圖 隊列詳情頁


6.查看消費組列表
導航欄中單擊 Consumers ,即可查看當前集群中(zhong)的(de)消費組列表(biao)。
說明只顯示14天內(nei)有消費(fei)(fei)記錄的消費(fei)(fei)組。
圖 集群的(de)消費組列表


7.查看(kan)消(xiao)費組(zu)詳(xiang)情頁
單擊(ji)消費(fei)組名稱可進入消費(fei)組詳情頁面(mian),展示(shi)消費(fei)組消費(fei)的所(suo)有隊列列表(biao)以及每個隊列的可消費(fei)數(Total Lag)。
圖 消費組詳情頁面


8.查看消費(fei)組隊列詳(xiang)情頁
單擊隊(dui)列名(ming)稱,即(ji)可進入詳情頁(ye)面,查看消(xiao)費(fei)(fei)組消(xiao)費(fei)(fei)在隊(dui)列中每個分區(qu)(qu)的(de)消(xiao)費(fei)(fei)狀態。包括分區(qu)(qu)編號(Partition)、分區(qu)(qu)消(xiao)息數(shu)(LogSize)、分區(qu)(qu)消(xiao)費(fei)(fei)進度(du)(Consumer Offset)、分區(qu)(qu)剩余可消(xiao)費(fei)(fei)數(shu)(Lag)和最近消(xiao)費(fei)(fei)該分區(qu)(qu)的(de)消(xiao)費(fei)(fei)者(Consumer Instance Owner)。
圖(tu) 消(xiao)費組(zu)隊(dui)列詳情頁(ye)面


