配置Kafka/DMS Kafka源端參數
更新時間 2023-06-02 15:44:28
最近更新時間: 2023-06-02 15:44:28
分享文章
本章節主要介紹配置Kafka/DMS Kafka源端參數。
作業中源連接為配置Kafka連接或配置DMS Kafka連接時，源端作業參數如下表所示。
表 Kafka作為源端時的作業參數
| 參數 | 說明 | 取值樣例 |
|---|---|---|
| Topics | 支持單個或多個topic。 | est1,est2 |
| 偏移量參數 | 從Kafka拉取數據時的初始偏移量： 最新：最大偏移量，即拉取最新的數據。 最早：最小偏移量，即拉取最早的數據。 已提交：拉取已提交的數據。 時間范圍：拉取時間范圍內的數據。 |
最新 |
| 是否持久運行 | 用戶自定義是否永久運行。 | 是 |
| 消費組ID | 用戶指定消費組ID。 如果是從DMS Kafka導出數據，專享版請任意輸入，標準版請輸入有效的消費組ID。 | sumer-group |
| 數據格式 | 解析數據時使用的格式： 二進制格式：適用于文件遷移場景，不解析數據內容原樣傳輸。 CSV格式：以CSV格式解析源數據。 l JSON：以JSON格式解析源數據。 CDC（DRS_JSON）：以DRS_JSON格式解析源數據。 |
二進制格式 |
| 字段分隔符 | 默認為空格，使用Tab鍵作為分隔符請輸入“\t”。 | , |
| 最大消息數/poll | 可選參數，每次向Kafka請求數據限制最大請求記錄數。 | 100 |
| 最大時間間隔/poll | 可選參數，向Kafka請求數據的最大時間間隔。 | 100 |
