通過kafka導入日志
更新時間 2025-04-25 18:50:56
最近更新時間: 2025-04-25 18:50:56
分享文章
本文主要介紹如何通過kafka導入日志。
本文主要介紹如何將天翼云分布式消息服務Kafka的數據導入到云日志服務,實現數據的查詢分析、加工等操作。
注意
當前功能為試用階段,僅在華北2資源池開放。
創建數據導入任務
登錄云日志服務控制臺。
左側菜單欄點擊“日志接入”,進入接入管理頁面
在“數據導入”模塊中,點擊“分布式消息服務Kafka-數據導入”
選擇目標日志項目和日志單元,單擊下一步。
設置接入配置,配置如下參數,確認無誤后,單擊下一步。
參數 說明 接入配置名稱 導入任務的唯一標識 Kafka 實例 選擇kafka實例作為數據源 Topic 列表 選擇Kafka主題,當前僅支持導入公有Topic
消費組 選擇kafka中的消費組, 起始位置 選擇開始導入數據的位置。
最早:從已有的第一條Kafka數據開始導入
最晚:從最近生成的Kafka數據開始導入
數據格式 待導入數據的格式。若您選擇JSON字符串,導入任務會將原始數據解析為key-value對格式,只解析到第一層。 編碼格式 選擇導入數據的編碼格式(即字符集),目前僅支持UTF-8和GBK。 創建索引。默認開啟全文索引,您也可以根據需要手動創建字段索引用于字段查詢。
點擊完成,即可完成導入任務創建。等待1分鐘左右,在查詢日志界面能查詢到日志,則說明導入成功。
管理導入任務
在日志接入管理頁面,您可以進行如下操作:
修改配置:點擊編輯,可修改導入任務的相關配置,具體請參見創建數據導入任務。
刪除配置:點擊刪除,刪除該導入任務。刪除后不可恢復,請謹慎操作。