L24｜注意力機制與 Transformer
完成無條件擴散模型並在 Fashion-MNIST 訓練；理解時間嵌入（正弦／餘弦）、自注意力、多頭注意力、rearrange，最後做出有條件的擴散模型。
L24｜注意力機制與 Transformer（Attention & transformers）
零基礎提示
完成無條件擴散模型並在 Fashion-MNIST 訓練；理解時間嵌入（正弦／餘弦）、自注意力、多頭注意力、rearrange，最後做出有條件的擴散模型。 （Finish and train the unconditional diffusion model on Fashion-MNIST; understand time embeddings (sine/cosine), self-attention, multi-headed attention and rearrange, then build a conditional diffusion model.）
| 項目 | 內容 |
|---|---|
| 所屬 | Part 2：Deep Learning Foundations to Stable Diffusion |
| 影片 | YouTube |
| 對應書本章節 | 無對應章節（Part 2 以 notebook 為主） |
| 原始頁面 | Lessons/lesson24 |
| 難度（F3 視角） | ★★★★★ 大學程度（F3 只求理解概念） |
影片
本課重點
- 無條件擴散模型：把前面打造的元件組成完整的無條件 Stable Diffusion 式模型，在 Fashion-MNIST 上訓練。
- 時間嵌入：模型需要知道目前雜訊的程度。用不同頻率的正弦與餘弦函數，把一個時間數字變成一組向量，讓模型容易分辨不同時間點。
- 自注意力：每個位置產生 query、key、value；用 query 和其他位置的 key 算相似度，決定要從哪些位置的 value 取多少資訊。這讓模型看到整張圖的關係，不只是附近的像素。
- 多頭注意力與 rearrange：同時用多組注意力（多個 head）關注不同的關係；rearrange 函數讓張量維度重排更直覺。
- Transformer 與條件生成：Transformer 以注意力為核心，也能用在視覺任務。最後加入類別資訊，做出能指定「生成哪一類衣物」的條件擴散模型。
關鍵概念
| 英文術語 | 中文 | 一句話解釋 |
|---|---|---|
| Attention | 注意力 | 依相關程度決定從哪些位置取多少資訊 |
| Query / Key / Value | 查詢／鍵／值 | 注意力的三個角色：問題、標籤、內容 |
| Self-attention | 自注意力 | 同一組資料內部互相計算注意力 |
| Multi-head attention | 多頭注意力 | 多組注意力並行，看不同關係 |
| Sinusoidal embedding | 正弦嵌入 | 用不同頻率的 sin、cos 表示位置或時間 |
| Conditional generation | 條件生成 | 根據指定條件（如類別）生成 |
認識關聯圖與重點圖
練習題
- 用「在圖書館找書」比喻 query、key、value。
- 卷積只看附近的像素，注意力有什麼不同？
- 無條件和有條件的擴散模型差在哪裡？
- 中文學生作答：L24_中文F3學生_202611041526
- English student answers: L24_EN_F3_Student_202611041526
