前提條件
- 大模型學習機預裝了Llama 2-7b-chat模型與stable-diffuison-base-v2.1模型, 以及配套的開源服務框架text-generation-webui與stable-diffuison-webui,使您不需單獨進行下載模型與配置環境。
- 云主機開通與如何登錄網頁頁面參見部署文檔。
以下將向您介紹如何進行StableDiffusion模型圖像生成任務：
1. StableDiffusion模型加載
說明以下內容基于開源框架stable-diffusion-webui。
1 .1 基礎模型加載
頁面最上方左側下拉菜單展開后會顯示所有存放于云主機/root/stable-diffusion-webui/models/Stable-diffusion目錄下的模型. 。學習機初始預裝了原版v2-1_512-ema-pruned.ckpt,您也可隨時下載其他版本的StableDiffusion放入目錄下進行加載。v2-1版模型占用約3G顯存。
1.2 LoRA模型加載
由于基礎大模型參數量極多, 訓練需要的資源量極大, 因此基于基礎大模型進行微調的小模型應運而生。LoRA技術便是其中最主流的一種。
LoRA小模型無法獨立使用, 需要在加載完基礎大模型后再進行加載, 對基礎大模型的能力進行擴展。
學習機內沒有預裝LoRA小模型, 您可以在網上下載其他基于StableDiffusion的LoRA模型并放到學習機的/root/stable-diffusion-webui/models/Lora目錄下。
StableDiffusion模型的LoRA模型以提示詞(prompt)的形式進行使用, 您可以在下載LoRA模型時進行具體使用方法查閱。
2. StableDiffusion模型使用
2.1 文本生成圖像模式
在txt2img標簽頁分別輸入提示詞(prompt)和負向提示詞(prompt), 隨后點擊Generate按鈕。
StableDiffusion的提示詞寫法要求較高, 這里無法做詳細介紹. 您可搜索相關資料進行學習。
2.2 圖像生成圖像模式
在img2img標簽頁分別輸入提示詞(prompt)和負向提示詞(prompt), 同時在左下方選擇上傳一張圖片, 最后點擊Generate按鈕。
StableDiffusion將給予給定圖片和提示詞, 創作一張新的圖片。
2.3 生成質量控制
StableDiffusion模型生成圖片質量可以在頁面下方Generation標簽頁進行調整, 但需要您具有一定的diffusion模型(擴散模型)背景知識。 這里僅對其中部分基礎參數進行介紹：
- Sampling Steps: 采樣步數. 數值越大圖像越精細。
- Width & Height: 圖像的寬度與高度。
- Batch count: 生成圖像總批次。
- Batch size: 每一批次生成圖像的個數。
- CFG Scale: 控制生成圖像與提示詞的關聯度, 數值越大關聯度越高, 但圖片質量可能越差。
- Seed: 隨機數種子. 控制模型生成結果的隨機性,如果輸入-1則代表不固定隨機數種子, 相同的提示詞每次生成圖片不同; 如果輸入其他數字則代表固定隨機數種子, 相同提示詞每次生成圖片相同。
