創建增強型跨源連接
更新時間 2024-04-10 18:24:02
最近更新時間: 2024-04-10 18:24:02
分享文章
本章節主要介紹如何創建增強型跨源連接。
操作場景
使用DLI訪問其他數據源的數據前,首先要通過建立增強型跨源連接打通DLI和數據源之間的網絡,DLI才能夠訪問、導入、查詢、分析其他數據源的數據。
例如:DLI連接MRS、RDS、CSS、Kafka、DWS時,需要打通DLI和對應數據源VPC之間的網絡,才能實現數據互通。
本節操作介紹在控制臺創建增強型跨源連接的操作步驟。
約束和限制
- DLI提供的default隊列不支持創建跨源連接。
- Flink作業訪問DIS,OBS和SMN數據源,無需創建跨源連接,可以直接訪問。
- 增強型跨源連接需要使用VPC、子網、路由、對等連接功能,因此需要獲得VPC(虛擬私有云)的VPC Administrator權限。
- 使用DLI增強型跨源時,彈性資源池/隊列的網段與數據源網段不能重合。
- 訪問跨源表需要使用已經創建跨源連接的隊列。
- 跨源表不支持Preview預覽功能。
- 檢測跨源連接的連通性時對IP約束限制如下:
?IP必須為合法的IP地址,用“.”分隔的4個十進制數,范圍是0-255。
?測試時IP地址后可選擇添加端口,用":"隔開,端口最大限制5位,端口范圍:0~65535。
例如192.168.xx.xx或者192.168.xx.xx:8181。
- 檢測跨源連接的連通性時對域名約束限制如下:
?域名的限制長度為1到255的字符串,并且組成必須是字母、數字、下劃線或者短橫線。
?域名的頂級域名至少包含兩個及以上的字母,例如.com,.net,.cn等。
?測試時域名后可選擇添加端口,用":"隔開,端口最大限制為5位,端口范圍:0~65535。
例如example.com:8080。
操作流程
創建增強型跨源連接操作流程
前提條件
- 已創建彈性資源池/隊列用于綁定跨源連接。
- 已獲取外部數據源的虛擬私有云、子網、內網IP、端口和安全組信息。
- 外部數據源的安全組已放通彈性資源池/隊列的網段。
操作步驟
創建增強型跨源連接
- 登錄DLI管理控制臺。
- 在左側導航欄中,選擇“跨源管理 > 增強型跨源 ”。
- 選擇“增強型跨源”,單擊“創建”。
配置增強型跨源連接信息,詳細參數介紹請參見下表。
參數說明
| 參數 | 參數說明 |
|---|---|
| 連接名稱 | 所創建的跨源連接名稱。 名稱只能包含數字、英文字母、下劃線。不能為空。 輸入長度不能超過64個字符。 |
| 虛擬私有云 | 數據源所使用的虛擬私有云。 |
| 子網 | 數據源所使用的子網。 |
| 主機信息 | 可選參數,用于配置主機的IP與域名的映射關系,在作業配置時只需使用配置的域名即可訪問對應的主機。 例如:訪問MRS的HBase集群時需要配置Zookeeper實例的主機名(即域名)與對應的IP地址。每行填寫一條記錄,填寫格式為:“IP主機名/域名”。 示例: 192.168.0.22 node-masterxxx1.1com 192.168.0.23 node-masterxxx2.1com |
- 單擊“確定”,創建增強型跨源連接。
創建完成后,增強型跨源連接的鏈接狀態顯示“已激活”,代表該鏈接創建成功。
數據源所在安全組放通彈性資源池的網段
- 在DLI管理控制臺,獲取彈性資源池/隊列的網段。
單擊“資源管理 > 隊列管理”,選擇運行作業的隊列,單擊隊列名稱旁的按鈕,獲取隊列的網段信息。
- 登錄VPC控制臺。找到數據源所在的VPC。
- 查找安全組名稱,在“彈性網卡 > 更多 > 更改安全組”中可以查到所屬安全組。
- 在左側導航樹選擇“訪問控制 > 安全組”。
- 單擊外部數據源所屬的安全組名稱,進入安全組詳情界面。
- 在“入方向規則”頁簽中添加放通隊列網段的規則。
詳細的入方向規則參數說明請參考下表。
入方向規則參數說明
| 參數 | 說明 | 取值樣例 |
|---|---|---|
| 優先級 | 安全組規則優先級。 優先級可選范圍為1-100,默認值為1,即最高優先級。 優先級數字越小,規則優先級級別越高。 |
1 |
| 策略 | 安全組規則策略。 | 允許 |
| 協議端口 | 網絡協議。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等協議。 端口:允許遠端地址訪問指定端口,取值范圍為:1~65535。 |
本例中選擇TCP協議,端口值不填或者填寫為數據源的端口。 |
| 類型 | IP地址類型。 | IPV4 |
| 源地址 | 源地址用于放通來自IP地址或另一安全組內的實例的訪問。 | 本例填寫獲取的隊列網段。 |
| 描述 | 安全組規則的描述信息,非必填項。 | _ |
測試DLI隊列與數據源的連通性
- 獲取數據源的私有內網IP和端口。
以RDS數據源為例:在RDS控制臺“實例管理”頁面,單擊對應實例名稱,查看“連接信息”>“內網地址”,即可獲取RDS內網地址。查看“連接信息”>“數據庫端口”,獲取RDS數據庫實例端口。
- 在DLI管理控制臺,單擊“資源管理 > 隊列管理”。
- 選擇增強型跨源所綁定的隊列,單擊操作列“更多 > 測試地址連通性”。
- 輸入數據源連接地址和端口,測試網絡連通性。
格式: IP: 端口
注意測試連接前,請確保外部數據源的安全組已放通隊列的網段。