操作場景
CDM支持在云上各服務之間相互遷移數據,本章節介紹如何通過CDM將數據從OBS遷移到云搜索服務中,流程如下:
1.創建CDM集群
2.創建云搜索服務連接
3.創建OBS連接
4.創建遷移作業
前提條件
- 已獲取OBS的訪問域名、端口,以及AK、SK。
- 已經開通了云搜索服務,且獲取云搜索服務集群的IP地址和端口。
創建CDM集群
參考創建CDM集群,創建CDM集群。
關鍵配置如下:
- CDM集群的規格,按待遷移的數據量選擇,一般選擇cdm.medium即可,滿足大部分遷移場景。
- CDM集群的VPC必須和云搜索服務集群所在VPC一致,且推薦子網、安全組也與云搜索服務一致。
- 如果安全控制原因不能使用相同子網和安全組,那么需要確保安全組規則能允許CDM訪問云搜索服務集群。
創建云搜索服務連接
1.單擊CDM集群后的“作業管理”,進入作業管理界面,再選擇“連接管理 > 新建連接”,進入選擇連接器類型的界面。
2.連接器類型選擇“云搜索服務”后單擊“下一步”,配置云搜索服務連接參數。
- 名稱:用戶自定義連接名稱,例如“csslink”。
- Elasticsearch服務器列表:配置為云搜索服務集群(支持5.X以上版本)的連接地址、端口,格式為“ip:port”,多個地址之間使用分號(;)分隔,例如192.168.0.1:9200;192.168.0.2:9200。
- 用戶名、密碼:配置為訪問云搜索服務集群的用戶,需要擁有數據庫的讀寫權限。
3.單擊“保存”回到連接管理界面。
創建OBS連接
1.單擊CDM集群后的“作業管理”,進入作業管理界面,再選擇“連接管理 > 新建連接”,進入選擇連接器類型的界面。
詳見下圖:選擇連接器類型

2.連接器類型選擇“對象存儲服務(OBS)”后,單擊“下一步”配置OBS連接參數。
- 名稱:用戶自定義連接名稱,例如“obslink”。
- OBS服務器、端口:配置為OBS實際的地址信息。
- 訪問標識(AK)、密鑰(SK):登錄OBS的AK、SK。
3.單擊“保存”回到連接管理界面。
創建遷移作業
1.選擇“表/文件遷移 > 新建作業”,開始創建從OBS導出數據到云搜索服務的任務。
詳見下圖:創建OBS到云搜索服務的遷移任務

- 作業名稱:用戶自定義便于記憶、區分的任務名稱。
- 源端作業配置
?源連接名稱:選擇創建OBS連接中的“obslink”。
?桶名:待遷移數據的桶。
?源目錄或文件:待遷移數據的路徑,也可以遷移桶下的所有目錄、文件。
?文件格式:遷移文件到數據表時,文件格式選擇“CSV格式”。
?高級屬性里的可選參數一般情況下保持默認既可,詳細說明請參見 配置OBS源端參數。
- 目的端作業配置
?目的連接名稱:選擇創建云搜索服務連接中的“csslink”。
?索引:待寫入數據的Elasticsearch索引,也可以輸入一個新的索引,CDM會自動在云上搜索服務中創建。
?類型:待寫入數據的Elasticsearch類型,可輸入新的類型,CDM支持在目的端自動創建類型。
?高級屬性里的可選參數一般情況下保持默認既可,詳細說明請參見 配置云搜索服務目的端參數。
2.單擊“下一步”進入字段映射界面,CDM會自動匹配源和目的字段,如下圖“云搜索服務的字段映射”所示。
- 如果字段映射順序不匹配,可通過拖拽字段調整。
- 如果選擇在目的端自動創建類型,這里還需要配置每個類型的字段類型、字段名稱。
- CDM支持遷移過程中轉換字段內容。

3.單擊“下一步”配置任務參數,一般情況下全部保持默認即可。
該步驟用戶可以配置如下可選功能:
- 作業失敗重試:如果作業執行失敗,可選擇是否自動重試,這里保持默認值“不重試”。
- 作業分組:選擇作業所屬的分組,默認分組為“DEFAULT”。在CDM“作業管理”界面,支持作業分組顯示、按組批量啟動作業、按分組導出作業等操作。
- 是否定時執行:如果需要配置作業定時自動執行,請參見 配置定時任務。這里保持默認值“否”。
- 抽取并發數:設置同時執行的抽取任務數。這里保持默認值“1”。
- 是否寫入臟數據:如果需要將作業執行過程中處理失敗的數據、或者被清洗過濾掉的數據寫入OBS中,以便后面查看,可通過該參數配置,寫入臟數據前需要先配置好OBS連接。這里保持默認值“否”即可,不記錄臟數據。
- 作業運行完是否刪除:這里保持默認值“不刪除”。
4.單擊“保存并運行”,回到作業管理界面,在作業管理界面可查看作業執行進度和結果。
5.作業執行成功后,單擊作業操作列的“歷史記錄”,可查看該作業的歷史執行記錄、讀取和寫入的統計數據。
在歷史記錄界面單擊“日志”,可查看作業的日志信息。