服務部署
更新時間 2025-09-10 15:29:59
最近更新時間: 2025-09-10 15:29:59
分享文章
服務部署支持在推理場景將平臺預置模型和模型倉庫模型部署為模型在線服務。
前置條件
創建在線服務
登錄訓推智算服務平臺。
創建在線服務入口：
入口一：在左側菜單選擇“模型服務”-“服務部署”，點擊“部署模型”，進入在線服務創建頁面。
入口二：在左側菜單選擇“模型管理”，點擊模型卡片的“部署”，進入在線服務創建頁面。
| 參數名 | 說明 |
|---|---|
| 服務名稱 | 必填，在線服務名稱。 |
| 服務地址 | 自動生成，服務調用地址。 |
| 鏡像來源 | 支持選擇系統預置鏡像、自定義鏡像、共享容器鏡像和他人分享鏡像。 |
| 模型選擇 | 將模型管理中的模型文件掛載到容器內路徑。 |
| 代碼包選擇 | 非必填，可以選擇目標代碼包。 |
| 環境變量 | 輸入變量名稱和值。 |
| 運行命令 | 必填，用以啟動鏡像的運行命令和端口號（例如：啟動鏡像的運行命令腳本。示例如下：cd /work/mount/code #切換到執行腳本所在目錄。python /run.py#執行啟動腳本。） |
| 隊列 | 選擇目標隊列，展示當前總資源及使用情況。 |
| 資源規格 | 選擇當前任務所需要的資源規格。 |
| 實例數量 | 輸入當前部署實例的數量。 |
| 服務授權 | 必填，選擇調用服務時使用的服務授權。 |
在列表可查看模型是否部署成功，在操作列可進行模型查看、更新、停止、重啟、修改、上下線、刪除等操作。停止服務后計費也會停止，再次啟動服務即可開通計費。
操作列點擊【查看】可進入該服務的詳情頁，查看部署的模型列表、服務監控、配置歷史、運行記錄、事件日志、服務日志。
服務授權
服務授權為服務部署創建App Key供用戶調用。
創建在線服務入口：
入口一：在左側菜單選擇“服務部署”-“我的服務”-“部署模型”，新建頁面點擊“創建服務授權”。
入口二：在左側菜單選擇“服務部署”-“授權管理”，點擊“創建服務授權”，進入服務授權創建頁面。
入口三“在左側菜單選擇“服務部署”-“我的服務”，詳情頁點擊“服務授權”頁面中點擊“創建服務授權”。
創建服務授權：
輸入服務授權名稱：必填，最長不超過15個字符。
查看服務授權：在授權管理菜單還可以查看當前授權綁定的服務列表。
可以單擊操作列的按鈕查詢當前授權的明文、重置或刪除。
服務授權解綁和添加：在服務部署詳情頁，可以點擊“服務授權”按鈕進入當前服務綁定的授權信息列表，可以解綁不再使用的授權，綁定新的授權。
服務調用
獲得服務調用接口地址
在postman中構造請求接口，在請求header中需要填入Authorization鑒權信息，為避免被安全護欄攔截，建議在http請求header中填入User-Agent信息：
請求路徑：//wishub-x5.daliqc.cn/api/v1/c760bd1e83/d1a696ae54419d34987d95d52ac337f8/v1/xxx/yyy，其中/xxx/yyy 為具體的功能路徑，如/chat/completions;其余前綴通過服務詳情的“接口地址”獲得。
請求方式：POST;
請求header必填項： Authorization: Bearer AppKey Content-Type: application/json;
其他header：
User-Agent: PostmanRuntime-ApipostRuntime/1.1.0獲得服務調用返回
