L20｜混合精度、風格轉換與神經元胞自動機
用混合精度與 Hugging Face Accelerate 加速訓練；Johno 示範風格轉換（內容損失與 Gram 矩陣）和受生命遊戲啟發的神經元胞自動機。
L20｜混合精度、風格轉換與神經元胞自動機（Mixed Precision）
零基礎提示
- 這一課不用額外數學
- Part 2 是大學程度：中三同學先求看懂概念，不用每行程式都會
- 字幕：離線網站選「中英」（電腦翻譯，大意正確）
- 看不懂的詞查 白話小辭典
用混合精度與 Hugging Face Accelerate 加速訓練；Johno 示範風格轉換（內容損失與 Gram 矩陣）和受生命遊戲啟發的神經元胞自動機。 （Speed up training with mixed precision and Hugging Face Accelerate; Johno demonstrates style transfer (content loss and Gram matrices) and Neural Cellular Automata inspired by the Game of Life.）
| 項目 | 內容 |
|---|---|
| 所屬 | Part 2：Deep Learning Foundations to Stable Diffusion |
| 影片 | YouTube |
| 對應書本章節 | 無對應章節（Part 2 以 notebook 為主） |
| 原始頁面 | Lessons/lesson20 |
| 難度（F3 視角） | ★★★★★ 大學程度（F3 只求理解概念） |
影片
本課重點
- 混合精度：大部分運算改用 16 位元浮點數（記憶體減半、速度更快），關鍵部分保留 32 位元以免精度不足。寫成 MixedPrecision callback，也可用 Accelerate 函式庫。
- 更快的資料載入：用自訂 collation 函數，在 GPU 上一次處理整批資料的增強，加快速度。
- 風格轉換：用預訓練網路不同層的特徵：內容損失比較中間層特徵，保留圖片內容；風格損失用 Gram 矩陣比較特徵之間的相關性，抓出筆觸和色彩。兩者相加就能把照片畫成某種畫風。
- 神經元胞自動機：受康威生命遊戲啟發：每個格子只看鄰居來決定下一步。先用固定 filter，再改用神經網路學出規則，用風格損失訓練出會自己長出紋理的系統。
- 技巧：環狀補邊（circular padding）讓圖案在邊界接續；梯度正規化讓訓練更穩定。
關鍵概念
| 英文術語 | 中文 | 一句話解釋 |
|---|---|---|
| Mixed precision | 混合精度 | 16 位元與 32 位元浮點數混用 |
| Accelerate | Accelerate | Hugging Face 的訓練加速函式庫 |
| Style transfer | 風格轉換 | 保留照片內容、換成另一種畫風 |
| Content loss | 內容損失 | 比較中間層特徵，保留內容 |
| Gram matrix | Gram 矩陣 | 特徵之間的相關性，代表風格 |
| Cellular automata | 元胞自動機 | 格子依鄰居狀態決定下一步的系統 |
認識關聯圖與重點圖
練習題
- 32 位元浮點數每個數字佔 4 bytes，16 位元佔 2 bytes。一個有 1 億個參數的模型，兩種格式各佔多少記憶體（以 MB 計，1 MB ≈ 100 萬 bytes）？
- 風格轉換中，內容損失和風格損失各負責什麼？
- 康威生命遊戲裡，每個格子怎樣決定下一步？這和神經元胞自動機有什麼關係？
- 中文學生作答：L20_中文F3學生_202611041526
- English student answers: L20_EN_F3_Student_202611041526
