L09|Stable Diffusion 入門(Stable Diffusion)

零基礎提示

  • 這一課不用額外數學
  • Part 2 是大學程度:中三同學先求看懂概念,不用每行程式都會
  • 字幕:離線網站選「中英」(電腦翻譯,大意正確)
  • 看不懂的詞查 白話小辭典

Part 2 第一課:先用 Diffusers 函式庫玩轉 Stable Diffusion,再拆解它的四個核心元件與背後直覺。 (Part 2 opens by using the Diffusers library for Stable Diffusion, then breaks down its four core components and the intuition behind them.)

項目內容
所屬Part 2:Deep Learning Foundations to Stable Diffusion
影片YouTube
對應書本章節無對應章節(Part 2 以 notebook 為主)
原始頁面Lessons/lesson9
難度(F3 視角)★★★★★ 大學程度(F3 只求理解概念)

影片

本課重點

  1. Part 2 怎麼學:每課是影片加 notebook,資源都在課程頁;內容是研究所等級,要投入大量時間;預設你已學完 Part 1;建議找讀書夥伴;部分課後挑戰屬於未知的研究方向。
  2. Diffusers 管線與技巧:用預訓練 pipeline 由文字生成圖片。guidance scale 調整提示詞的影響力;negative prompt 去除不要的概念;image-to-image 從現有圖片出發;textual inversion 和 Dreambooth 教模型認識新概念。
  3. 四個核心元件:CLIP 文字編碼器把提示詞變成向量;VAE 把圖片壓縮成較小的 latents;U-Net 預測圖片中的雜訊;scheduler 決定每一步去掉多少雜訊。
  4. 直覺:一步步把雜訊變成圖:想像一個模型能判斷「這張圖有多像手寫數字」,對每個像素的導數(梯度)告訴我們怎麼改圖才更像。反覆依梯度修正,就能從雜訊生成圖片。導數可以用有限差分慢慢算,也可以用解析導數一次算完。
  5. CLIP 與對比損失:同時訓練文字編碼器和圖片編碼器,讓配對的文字和圖片向量接近、不配對的遠離。課程最後指出擴散取樣和深度學習優化器很相似,暗示新的研究方向。

關鍵概念

英文術語中文一句話解釋
Diffusion model擴散模型學會一步步去除雜訊來生成圖片的模型
Guidance scale引導強度生成時提示詞影響力的大小
Negative prompt負面提示詞告訴模型不要出現的內容
Latents潛在表示VAE 壓縮後較小的圖片表示
U-NetU 型網路先縮小再放大、中間有捷徑連接的網路,用來預測雜訊
CLIPCLIP 模型把文字和圖片放進同一個向量空間
Finite differencing有限差分稍微改一點輸入,看輸出變多少,來估計導數

認識關聯圖與重點圖

L09_關聯圖_202611041526
Stable diffusion generated image

(Part 2 總覽頁的範例圖。)

Bonus 9A(Jonathan Whitaker 的深入解說)與 9B(擴散的數學)官方頁面目前 404,影片連結見下方資源。

練習題

  1. Stable Diffusion 的四個核心元件是什麼?各用一句話說明。
  2. guidance scale 調高和調低,生成的圖片會怎樣不同?
  3. 想生成「海灘上的狗」但不想出現人,你會怎樣寫 prompt 和 negative prompt?

資源連結

英文延伸資源(零基礎可以先略過,點開看)

相關筆記

Built with LogoFlowershow