操作場景
用戶在創建數據遷移的任務前,需要先創建連接,讓CDM集群能夠讀寫數據源。一個遷移任務,需要建立兩個連接,源連接和目的連接。不同的遷移方式(表或者文件遷移),哪些數據源支持導出(即作為源連接),哪些數據源支持導入(即作為目的連接),詳情請參見支持的數據源。
不同類型的數據源,創建連接時的配置參數也不相同,本章節指導用戶根據數據源類型創建對應的連接。
約束限制
當所連接的數據源發生變化(如MRS集群擴容等情況)時,您需要重新編輯并保存該連接。
前提條件
- 已具備CDM集群。
- CDM集群與目標數據源可以正常通信。
- 如果目標數據源為云下的數據庫,則需要通過公網或者專線打通網絡。通過公網互通時,需確保CDM集群已綁定EIP、CDM云上安全組出方向放通云下數據源所在的主機、數據源所在的主機可以訪問公網且防火墻規則已開放連接端口。
- 如果目標數據源為云上服務(如DWS、MRS及ECS等),則網絡互通需滿足如下條件:
①CDM集群與云上服務處于不同區域的情況下,需要通過公網或者專線打通網絡。通過公網互通時,需確保CDM集群已綁定EIP,數據源所在的主機可以訪問公網且防火墻規則已開放連接端口。
②CDM集群與云上服務同區域情況下,同虛擬私有云、同子網、同安全組的不同實例默認網絡互通;如果同虛擬私有云但是子網或安全組不同,還需配置路由規則及安全組規則,配置路由規則請參見《虛擬私有云》幫助文檔中的“添加路由信息”章節,配置安全組規則請參見《虛擬私有云》幫助文檔中的“安全組 > 添加安全組規則”章節。
③此外,您還必須確保該云服務的實例與CDM集群所屬的企業項目必須相同,如果不同,需要修改工作空間的企業項目。
- 已獲取待連接數據源的地址、用戶名和密碼,且該用戶擁有數據導入、導出的操作權限。
- 使用Agent時需用主賬戶給子賬戶賦予CDM操作權限。
新建連接
1.進入CDM主界面,單擊左側導航上的“集群管理”,選擇CDM集群后的“作業管理 >連接管理 > 新建連接”。選擇連接器類型。
這里的連接器類型,是根據待連接的數據源類型分類的,包含了CDM目前支持導入/導出的所有數據源類型。
詳見下圖:選擇連接器類型

2.選擇數據源類型后,單擊“下一步”配置連接參數,這里以創建MySQL連接為例。
每種數據源的連接參數不同,您可以根據所選擇的連接器類型在下表中查找對應參數。
詳見下表:連接參數分類
| 連接器類型 | 參數說明 |
|---|---|
| 數據倉庫服務(DWS) 云數據庫MySQL 云數據庫PostgreSQL 云數據庫SQL Server PostgreSQL Microsoft SQL Server SAP HANA |
由于連接這些關系型數據庫,所采用的JDBC驅動相同,所以他們的連接參數也一樣,具體參數請參見配置常見關系數據庫連接。 |
| MySQL | 連接MySQL數據庫時,具體參數請參見配置MySQL數據庫連接。 |
| Oracle | 連接Oracle數據庫時,具體參數請參見配置Oracle數據庫連接。 |
| 分庫 | 連接達夢數據庫時,具體參數請參見配置分庫連接。 |
| 對象存儲服務(OBS) | 連接OBS時,具體參數請參見配置OBS連接。 |
| MRS HDFS FusionInsight HDFS Apache HDFS |
連接MRS、Apache Hadoop或FusionInsight HD上的HDFS時,具體參數請參見配置HDFS連接。 |
| MRS HBase FusionInsight HBase Apache HBase |
連接MRS、Apache Hadoop或FusionInsight HD上的HBase時,具體參數請參見配置HBase連接。 |
| MRS Hive FusionInsight Hive Apache Hive |
連接MRS、Apache Hadoop或FusionInsight HD上的Hive時,具體參數請參見配置Hive連接。 |
| 表格存儲服務(CloudTable) | 連接CloudTable時,具體參數請參見配置CloudTable連接。 |
| FTP SFTP |
連接FTP或SFTP服務器時,具體參數請參見配置FTP/SFTP連接。 |
| HTTP | 用于讀取一個公網HTTP/HTTPS URL的文件,包括第三方對象存儲的公共讀取場景和網盤場景。 當前創建HTTP連接時,只需要配置連接名稱,具體URL在創建作業時配置。 |
| MongoDB | 連接本地MongoDB數據庫時,具體參數請參見配置MongoDB連接。 |
| 文檔數據庫服務(DDS) | 連接DDS時,具體參數請參見配置DDS連接。 |
| Redis 分布式緩存服務(DCS) |
連接Redis或DCS時,具體參數請參見配置Redis/DCS連接。 |
| MRS Kafka Apache Kafka |
連接MRS Kafka或Apache Kafka數據源時,具體參數請參見配置Kafka連接。 |
| 云搜索服務 Elasticsearch | 連接云搜索服務或Elasticsearch時,具體參數請參見配置Elasticsearch/云搜索服務(CSS)連接。 |
| 數據湖探索(DLI) | 連接數據湖探索服務時,具體參數請參見配置DLI連接。 |
| DMS Kafka | 連接DMS的Kafka隊列時,具體參數請參見配置DMS Kafka連接。 |
| Cassandra | 連接Cassandra時,具體參數請參見配置Cassandra連接。 |
說明目前以下數據源處于公測階段:FunsionInsight HDFS、FunsionInsight HBase、FunsionInsight、Hive、SAP HANA、文檔數據庫服務(DDS)、表格存儲服務(CloudTable)、Cassandra、DMS Kafka、云搜索服務、分庫。
3.連接的參數配置完成后單擊“測試”,可測試連接是否可用。或者直接單擊“保存”,保存時也會先檢查連接是否可用。
受網絡和數據源的影響,部分連接測試的時間可能需要30~60秒。
管理連接
CDM支持對已創建的連接進行以下操作:
- 刪除:支持刪除未被任何作業使用的連接,也支持批量刪除連接。
- 編輯:支持修改已創建好的連接參數,但不支持重新選擇連接器。修改連接時,需要重新輸入數據源的登錄密碼。
- 測試連通性:支持直接測試已保存連接的連通性。
- 查看連接JSON:以JSON文件格式查看連接參數的配置。
- 編輯連接JSON:以直接修改JSON文件的方式,修改連接參數。
- 查看后端連接:查看該連接對應的后端連接。例如已開啟后端連接的MYCAT連接,就可以查詢到對應的后端連接詳情。
在管理連接前,您需要確保該連接未被任何作業使用,避免影響現有作業業務。管理連接的操作流程如下:
1.進入CDM主界面,單擊左側導航上的“集群管理”,選擇CDM集群后的“作業管理 >連接管理”。
2.在連接管理界面找到需要修改的連接:
- 刪除連接:單擊操作列的“刪除”刪除該連接,或者勾選連接后單擊列表上方的“刪除連接”來批量刪除未被任何作業使用的連接。
- 編輯連接:單擊該連接名稱,或者單擊操作列的“編輯”進入修改連接的界面,修改連接時需要重新輸入數據源的登錄密碼。
- 測試連通性:單擊操作列的“測試連通性”,直接測試已保存連接的連通性。
- 查看連接JSON:選擇操作列的“更多>查看連接JSON”,以JSON文件格式查看連接參數的配置。
- 編輯連接JSON:選擇操作列的“更多>編輯連接JSON”,以直接修改JSON文件的方式,修改連接參數。查看后端連接:選擇操作列的“更多 > 查看后端連接”,查看該連接對應的后端連接。