背景分析
目前?戶在關閉開發環境后,實例內除了數據集掛載路徑以外的?件和路徑將被重置,下次啟動需要重新加載,影響使?體驗和開發效率。
工具說明
目前采用如下實踐?式來改善上述問題:
科研助手提供了鏡像保存功能,?持?鍵將運?中的Notebook實例保存為鏡像,將準備好的環境保存下來,可以作為?定義鏡像,?便后續使?。?戶可以在Notebook開發環境中??安裝開發依賴包,?便使?,也可避免安裝依賴包丟失。
附錄:Conda配置簡介
全部Conda命令建議參考Conda官??檔。這?僅對常?命令做簡要說明。
| 命令說明 | 命令 |
|---|---|
| 獲取幫助 | conda --help conda update --help #獲取某?命令的幫助,如update |
| 查看conda版本 | conda -V |
| 環境管理 | conda env list #顯示所有的虛擬環境 conda info -e #顯示所有的虛擬環境 conda create -n myenv python=3.7 #創建?個名為myenv環境,指定Python 版本是3.7 conda activate myenv #激活名為myenv的環境 conda deactivate #關閉當前環境 conda remove -n myenv --all #刪除?個名為myenv的環境 conda create -n newname --clone oldname #克隆oldname環境為newname環境 conda install -c //conda.anaconda.org/anaconda numpy #使用源//conda.anaconda.org/anaconda 安裝numpy conda update numpy pandas #更新numpy和pandas兩個package,此命令可同時更新?個或多個包 conda remove numpy pandas #卸載numpy和pandas兩個package,此命令可同時卸載?個或多個包 conda update –-all #更新當前環境下所有的package |
| 清理conda | conda clean -p # 刪除??的包 conda clean -t # 刪除壓縮包 conda clean -y --all # 刪除所有的安裝包及cache |
操作流程
-
進入JupyterLab工作臺并打開終端。
-
Conda是一個開源的包管理系統和環境管理系統,Conda 可快速安裝、運行和更新包及其依賴項。Conda可以輕松地在計算機上創建、保存、加載和切換環境。以python為例:
在返回列表中會顯示所有可下載的python版本。
-
部署以名字為tf的環境,安裝python 3.11和tensorflow 2.12
conda create -n tf python=3.11 tensorflow=2.12`
-
環境部署好后會返回激活環境的指令conda activate [環境名] 例如: "conda activate tf",退出當前環境為"conda deactivate"
-
輸入"conda activate tf"進入剛才安裝好的環境
測試Tensorflow版本,返回結果與所需的版本一致。
-
退出當前環境,如果需要一鍵導入完整環境,需安裝conda-pack。導出的包體積會比較大
pip install conda-pack -
導出當前環境"conda pack -n [環境名] -o [壓縮包名]"
例如:conda pack -n tf -o tf.tar.gz
完成后在左側文件列表中即可下載導出的環境包。如果導出的環境包過大,可只導出環境配置文件,在導入時讓Conda重新自動安裝環境。
conda env export -n [環境名] > env.yaml
執行完成后在左側文件列表中下載env.yaml即可。 -
通過Conda在開發機重啟后恢復之前的環境
a. 將env.yaml上傳至開發機中
b. 執行 conda env create -f [文件名]
c. 環境安裝完畢后查看"conda env list" ,確認環境tf存在。
注意:在使用環境時開發機的臨時文件不會被conda pack打包,只有在環境所在路徑下的臨時文件才會被conda pack打包。在conda env list中可查看環境所在的路徑,例如/opt/conda/envs/tf。