在線服務
更新時間 2025-07-09 18:13:32
最近更新時間: 2025-07-09 18:13:32
分享文章
模型服務支持在推理場景將平臺預置模型和模型倉庫模型部署為模型在線服務。
前置條件
創建在線服務
登錄智算服務平臺。
創建在線服務入口:
入口一:在左側菜單選擇“模型服務”-“在線服務”,點擊“部署我的模型”,進入在線服務創建頁面。
入口二:在左側菜單選擇“模型廣場”,點擊模型卡片的“部署”,進入在線服務創建頁面。
入口三:在左側菜單選擇“我的模型”,點擊模型卡片的“部署”,進入在線服務創建頁面。
| 參數類型 | 參數名 | 說明 |
模型服務信息 | 服務名稱 | 必填,在線服務名稱。 |
服務地址 | 自動生成,服務調用地址。 | |
鏡像環境
| 鏡像來源 | 支持選擇系統預置鏡像、自定義鏡像、共享容器鏡像和他人分享鏡像。 |
模型選擇 | 將模型管理中的模型文件掛載到容器內路徑。 | |
代碼包選擇 | 非必填,可以選擇目標代碼包。 | |
環境變量 | 輸入變量名稱和值。 | |
運行命令 | 必填,用以啟動鏡像的運行命令和端口號(例如:啟動鏡像的運行命令腳本,示例如下:cd /work/mount/code #切換到執行腳本所在目錄。 python /run.py#執行啟動腳本。 | |
資源配置 | 隊列 | 選擇目標隊列,展示當前總資源及使用情況。 |
資源規格 | 選擇當前任務所需要的資源規格。 | |
實例數量 | 輸入當前部署實例的數量。 |
在列表可查看模型是否部署成功,在操作列可進行模型查看、更新、停止、重啟、修改、上下線、刪除等操作。停止服務后計費也會停止,再次啟動服務即可開通計費。
操作列點擊【查看】可進入該服務的詳情頁,查看部署的模型列表、服務監控、配置歷史、運行記錄、事件日志、服務日志。
服務部署完成后下一步需要創建服務接入。