開發一個Python腳本
更新時間 2023-08-17 17:13:16
最近更新時間: 2023-08-17 17:13:16
分享文章
本章節主要介紹DataArts Studio的開發一個Python腳本流程。
本章節介紹如何在數據開發模塊上開發并執行Python腳本示例。
環境準備
- 已開通彈性云主機,并創建ECS,ECS主機名為“ecs-dgc”。
說明本示例主機選擇“CentOS 8.0 64bit with ARM(40GB)”的公共鏡像,并且使用ECS自帶的Python環境,您可登陸主機后使用python命令確認服務器的Python環境。


- 已開通數據集成增量包,CDM集群名為“cdm-dlfpyhthon”,提供數據開發模塊與ECS主機通信的代理。
- 請確保ECS主機與CDM集群網絡互通,互通需滿足如下條件:
? CDM集群與ECS主機同區域情況下,同虛擬私有云、同子網、同安全組的不同實例默認網絡互通;如果同虛擬私有云但是子網或安全組不同,還需配置路由規則及安全組規則,配置路由規則請參見《虛擬私有云》幫助文檔中的“添加路由信息”章節,配置安全組規則請參見《虛擬私有云》幫助文檔中的“安全組 > 添加安全組規則”章節。
? CDM集群與ECS主機處于不同區域的情況下,需要通過公網或者專線打通網絡。通過公網互通時,需確保CDM集群已綁定EIP,數據源所在的主機可以訪問公網且防火墻規則已開放連接端口。
? 此外,您還必須確保該ECS主機與CDM集群所屬的企業項目必須相同,如果不同,需要修改工作空間的企業項目。
約束限制
- Python腳本暫不支持腳本參數及作業參數。
建立主機數據連接
開發Python腳本前,我們需要建立一個到彈性云主機ECS的連接。
- 在DataArts Studio控制臺首頁,選擇對應工作空間的“管理中心”模塊,進入管理中心頁面。
選擇管理中心


- 在管理中心頁面,單擊“數據連接”,進入數據連接頁面。
創建數據連接


- 單擊“創建數據連接”,進入“創建數據連接”頁面中。
創建數據連接


- 參見下表配置相關參數,創建主機連接名稱為“python_test”的數據連接。
主機連接
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 數據連接名稱 | 是 | 主機連接的名稱,只能包含字母,數字,中劃線或者下劃線。 |
| 主機地址 | 是 | 主機的地址。請參見《彈性云主機用戶指南》的查看云服務器詳細信息頁獲取。 |
| 綁定Agent | 是 | 需要選擇CDM集群,CDM集群提供Agent。 |
| 端口 | 是 | 主機的SSH端口號。 |
| 用戶名 | 是 | 主機的登陸用戶名。 |
| 登錄方式 | 是 | 選擇主機的登錄方式: 密鑰對 密碼 |
| 密鑰對 | 是 | 主機的登錄方式為密鑰對時,用戶獲取并上傳其私鑰文件至OBS,在此處選擇對應的OBS路徑。“登錄方式”為“密鑰對”時,顯示該配置項。 說明 此處上傳的私鑰文件需為PEM格式,并且上傳的私鑰文件和主機上配置的公鑰是一個密鑰對。 |
| 密鑰對密碼 | 否 | 如果密鑰對未設置密碼,則不需要填寫該配置項。 |
| 密碼 | 是 | 主機的登錄方式為密碼時,填寫主機的登錄密碼。 |
| 主機連接描述 | 否 | 主機連接的描述信息。 |
說明關鍵參數說明:
主機地址:已開通ECS主機中開通的ECS主機的IP地址。
綁定Agent:已開通批量數據遷移增量包中開通的CDM集群。
- 單擊“測試”,測試數據連接的連通性。如果無法連通,數據連接將無法創建。
- 測試通過后,單擊“確定”,完成數據連接的創建。
開發Python腳本
- 在“數據開發 > 腳本開發”模塊中創建一個Python腳本,腳本名稱為“python_test”。
- 在編輯器中編輯Python語句并選擇主機連接,單擊“提交并解鎖”。
說明
腳本開發區為臨時調試區,關閉腳本頁簽后,開發區的內容將丟失。
主機連接:建立主機數據連接中創建的連接。
- 單擊“運行”執行Python語句。
- 查看腳本運行結果。