L25｜潛在擴散與聲音生成（課程完結）
最後一課：Johno 把聲音轉成圖片，用學過的擴散方法生成鳥鳴；Jeremy 用 VAE 的 latents 取代像素做擴散，完成「從零打造 Stable Diffusion」。
L25｜潛在擴散與聲音生成（課程完結）（Latent diffusion）
零基礎提示
- 這一課不用額外數學
- Part 2 是大學程度：中三同學先求看懂概念，不用每行程式都會
- 字幕：這一課暫時只有英文字幕的原版影片
- 看不懂的詞查 白話小辭典
最後一課：Johno 把聲音轉成圖片，用學過的擴散方法生成鳥鳴；Jeremy 用 VAE 的 latents 取代像素做擴散，完成「從零打造 Stable Diffusion」。 （Final lesson: Johno turns sound into pictures and generates birdsong with diffusion; Jeremy uses VAE latents in place of pixels to complete 'Stable Diffusion from scratch'.）
| 項目 | 內容 |
|---|---|
| 所屬 | Part 2：Deep Learning Foundations to Stable Diffusion |
| 影片 | YouTube |
| 對應書本章節 | 無對應章節（Part 2 以 notebook 為主） |
| 原始頁面 | Lessons/lesson25 |
| 難度（F3 視角） | ★★★★★ 大學程度（F3 只求理解概念） |
影片
本課重點
- 聲音變圖片：把聲音轉成頻譜圖（spectrogram）：橫軸時間、縱軸頻率、亮度代表強度。這樣聲音就變成圖片，可以直接用影像擴散模型生成。
- 鳥鳴生成器：用頻譜圖訓練擴散模型，生成新的鳥叫聲頻譜，再轉回聲音，效果很好。也介紹了 Riffusion。
- 潛在擴散：先用 VAE 把圖片壓縮成小很多的 latents，在 latents 上做擴散，最後再解碼回圖片。運算量大幅減少，這正是 Stable Diffusion 的做法。
- 完成從零打造：把整個課程打造的元件（miniai、U-Net、DDIM、注意力、VAE）組合起來，完成 Stable Diffusion。
- 給學生的研究方向：如果把 latents 用在其他任務，例如分類模型呢？可能發展出 latents-FID、latents 感知損失、新的擴散引導方法。
關鍵概念
| 英文術語 | 中文 | 一句話解釋 |
|---|---|---|
| Spectrogram | 頻譜圖 | 把聲音畫成時間 × 頻率的圖 |
| Latent diffusion | 潛在擴散 | 在 VAE 壓縮後的 latents 上做擴散 |
| VAE | 變分自編碼器 | 把圖片壓成 latents 再還原的模型 |
| Riffusion | Riffusion | 用頻譜圖擴散生成音樂的專案 |
| Compression factor | 壓縮倍率 | 原始資料大小 ÷ 壓縮後大小 |
| Guidance | 引導 | 在生成過程中把結果推向指定方向 |
認識關聯圖與重點圖
練習題
- Stable Diffusion 的 VAE 把 512×512×3 的圖片壓成 64×64×4 的 latents。壓縮了幾倍？
- 為什麼把聲音轉成頻譜圖，就能用影像擴散模型來生成聲音？
- 回顧 Part 1 與 Part 2，寫下你覺得最重要的三個概念，並說明它們之間的關係。
- 中文學生作答：L25_中文F3學生_202611041526
- English student answers: L25_EN_F3_Student_202611041526
