L22｜Karras et al. (2022)：擴散模型設計空間
改進 DDPM/DDIM：讓時間連續化、預測雜訊量；研讀並實作 Karras 等人 2022 年論文的預處理方法，以及 Euler、Ancestral Euler、Heun、LMS 取樣器。
L22｜Karras et al. (2022)：擴散模型設計空間（Karras et al (2022)）
零基礎提示
- 這一課不用額外數學
- Part 2 是大學程度：中三同學先求看懂概念，不用每行程式都會
- 字幕：離線網站選「中英」（電腦翻譯，大意正確）
- 看不懂的詞查 白話小辭典
改進 DDPM/DDIM：讓時間連續化、預測雜訊量；研讀並實作 Karras 等人 2022 年論文的預處理方法，以及 Euler、Ancestral Euler、Heun、LMS 取樣器。 （Improve DDPM/DDIM by making time continuous and predicting the noise level, then study and implement Karras et al. (2022): pre-conditioning plus the Euler, Ancestral Euler, Heun and LMS samplers.）
| 項目 | 內容 |
|---|---|
| 所屬 | Part 2：Deep Learning Foundations to Stable Diffusion |
| 影片 | YouTube |
| 對應書本章節 | 無對應章節（Part 2 以 notebook 為主） |
| 原始頁面 | Lessons/lesson22 |
| 難度（F3 視角） | ★★★★★ 大學程度（F3 只求理解概念） |
影片
本課重點
- 時間連續化：不再限定整數步數，讓加雜訊的過程變成連續的，更有彈性。
- 預測雜訊量：不把時間步輸入模型，改讓模型自己判斷圖中有多少雜訊，再用預測的 alpha bar 調整 DDIM 每一步。
- Karras 論文的預處理：把模型的輸入和目標都縮放到單位變異數（標準差 1）。模型預測的是乾淨圖片與雜訊的插值，比例依輸入的雜訊量而定。
- 取樣器：Euler 取樣器每步沿當前方向走一步；Ancestral Euler 每步再加回一點隨機雜訊；Heun 方法先試走一步再修正，更準但多算一次；LMS 利用前幾步的資訊。
- 讀論文的方法：理解論文背後的概念並動手實作，才能真正用來改進模型。
關鍵概念
| 英文術語 | 中文 | 一句話解釋 |
|---|---|---|
| Pre-conditioning | 預處理 | 縮放輸入與目標，讓模型更好學 |
| Unit variance | 單位變異數 | 標準差為 1 |
| Sampler | 取樣器 | 決定如何一步步從雜訊走到圖片的方法 |
| Euler method | 歐拉法 | 每步沿當前斜率直走一步 |
| Heun's method | Heun 法 | 先試走一步，再用兩端斜率平均修正 |
| Noise level σ | 雜訊量 σ | 圖片中雜訊的標準差 |
認識關聯圖與重點圖
練習題
- Euler 法和 Heun 法的差別是什麼？用「走路」來比喻。
- 為什麼要把模型的輸入和輸出縮放到標準差 1？（提示：連結 L17）
- Ancestral Euler 每步加回一點隨機雜訊，你覺得這對生成圖片的多樣性有什麼影響？
- 中文學生作答：L22_中文F3學生_202611041526
- English student answers: L22_EN_F3_Student_202611041526
