操作場景
CDM支持文件到文件類數據的遷移,本章節以MRS HDFS-->OBS為例,介紹如何通過CDM將文件類數據遷移到文件中。流程如下:
1.創建CDM集群并綁定EIP
2.創建MRS HDFS連接
3.創建OBS連接
4.創建遷移作業
前提條件
- 已獲取OBS的訪問域名、端口,以及AK、SK。
- 已經了MRS。
- 擁有EIP配額。
創建CDM集群并綁定EIP
1.參考創建CDM集群,集群創建CDM集群。
關鍵配置如下:
- CDM集群的規格,按待遷移的數據量選擇,一般選擇cdm.medium即可,滿足大部分遷移場景。
- CDM集群所在VPC、子網、安全組,選擇與MRS集群所在的網絡一致。
2.CDM集群創建完成后,選擇集群操作列的“綁定彈性IP”,CDM通過EIP訪問MRS HDFS。
說明如果用戶對本地數據源的訪問通道做了SSL加密,則CDM無法通過彈性IP連接數據源。
創建MRS HDFS連接
1.在CDM集群管理界面,單擊集群后的“作業管理”,選擇“連接管理 > 新建連接”,進入連接器類型的選擇界面。
2.連接器類型選擇“MRS HDFS”后單擊“下一步”,配置MRS HDFS鏈接參數。
- 名稱:用戶自定義連接名稱,例如“mrs_hdfs_link”。
- Manage IP:MRS Manager的IP地址,可以單擊輸入框后的“選擇”來選定已創建的MRS集群,CDM會自動填充下面的鑒權參數。
- 用戶名:選擇KERBEROS鑒權時,需要配置MRS Manager的用戶名和密碼。
從HDFS導出目錄時,如果需要創建快照,這里配置的用戶需要HDFS系統的管理員權限。
- 密碼:訪問MRS Manager的用戶密碼。
- 認證類型:訪問MRS的認證類型。
- 運行模式:選擇HDFS連接的運行模式。
創建OBS連接
1.單擊CDM集群后的“作業管理”,進入作業管理界面,再選擇“連接管理 > 新建連接”,進入選擇連接器類型的界面。
詳見下圖:選擇連接器類型

2.連接器類型選擇“對象存儲服務(OBS)”后,單擊“下一步”配置OBS連接參數。
- 名稱:用戶自定義連接名稱,例如“obslink”。
- OBS服務器、端口:配置為OBS實際的地址信息。
- 訪問標識(AK)、密鑰(SK):登錄OBS的AK、SK。
3.單擊“保存”回到連接管理界面。
創建遷移作業
1.選擇“表/文件遷移 > 新建作業”,開始創建從MRS HDFS導出數據到OBS的任務。
詳見下圖:創建MRS HDFS到OBS的遷移任務

- 作業名稱:用戶自定義便于記憶、區分的任務名稱。
- 源端作業配置
?源連接名稱:選擇創建MRS HDFS連接中的“hdfs_llink”。
?源目錄或文件:待遷移數據的目錄或單個文件路徑。
?文件格式:傳輸數據時所用的文件格式,這里選擇“二進制格式”。不解析文件內容直接傳輸,不要求文件格式必須為二進制。適用于文件到文件的原樣復制。
?其他可選參數一般情況下保持默認即可,詳細說明請參見 配置HDFS源端參數。
- 目的端作業配置
?目的連接名稱:選擇創建OBS連接中的“obs_link”。
?桶名:待遷移數據的桶。
?寫入目錄:寫入數據到OBS服務器的目錄。
?文件格式:遷移文件類數據到文件時,文件格式選擇“二進制格式”。
?高級屬性里的可選參數一般情況下保持默認既可,詳細說明請參見 配置OBS目的端參數。
2.單擊“下一步”進入字段映射界面,CDM會自動匹配源和目的字段。
- 如果字段映射順序不匹配,可通過拖拽字段調整。
- CDM的表達式已經預置常用字符串、日期、數值等類型的字段內容轉換。
3.單擊“下一步”配置任務參數,一般情況下全部保持默認即可。
該步驟用戶可以配置如下可選功能:
- 作業失敗重試:如果作業執行失敗,可選擇是否自動重試,這里保持默認值“不重試”。
- 作業分組:選擇作業所屬的分組,默認分組為“DEFAULT”。在CDM“作業管理”界面,支持作業分組顯示、按組批量啟動作業、按分組導出作業等操作。
- 是否定時執行:如果需要配置作業定時自動執行,請參見 配置定時任務。這里保持默認值“否”。
- 抽取并發數:設置同時執行的抽取任務數。CDM支持多個文件的并發抽取,調大參數有利于提高遷移效率
- 是否寫入臟數據:否,文件到文件屬于二進制遷移,不存在臟數據。
- 作業運行完是否刪除:這里保持默認值“不刪除”。根據使用場景,也可配置為“刪除”,防止遷移作業堆積。
4.單擊“保存并運行”,回到作業管理界面,在作業管理界面可查看作業執行進度和結果。
5.作業執行成功后,單擊作業操作列的“歷史記錄”,可查看該作業的歷史執行記錄、讀取和寫入的統計數據。
在歷史記錄界面單擊“日志”,可查看作業的日志信息。