L24｜中文 F3 學生的學習紀錄
L24｜中文 F3 學生的學習紀錄
角色設定：我是中三學生，只看得懂中文。Python 學過變數、for 迴圈和 list，數學讀到一元二次方程。我靠中文課程筆記、YouTube 自動翻譯字幕和查字典來學。Kaggle 筆記本的操作步驟，是依官方 notebook 流程寫下的練習紀錄。
我讀懂了什麼（用自己的話）
- 注意力讓每個位置可以「看」其他所有位置，決定誰比較重要。
- query 是我想找什麼，key 是每個位置的標籤，value 是真正的內容。
- 多頭注意力就是同時用好幾組眼睛看不同的關係。
- 加入「要生成哪一類」的條件，就能指定生成 T 恤還是鞋子。
我卡住的地方，和我怎麼解決
| 卡住的地方 | 我怎麼解決 |
|---|---|
| Q、K、V 很抽象 | 用圖書館比喻之後就懂了（見練習一）。 |
| sin / cos 時間嵌入 | 理解成「用很多不同速度轉動的時鐘指針，一起表示一個時間」，每個時間點的組合都不同。 |
練習作答
Q1. 用「在圖書館找書」比喻 query、key、value。
Query 是我想找的主題，例如「羽毛球」。Key 是每本書書脊上的標籤。我拿主題和每本書的標籤比對，越相關的書我拿越多頁來看。Value 就是書裡真正的內容。
Q2. 卷積只看附近的像素，注意力有什麼不同？
卷積的核只覆蓋附近幾格，要很多層才看到遠處。注意力一次就能讓每個位置和所有位置比較，直接找到遠處相關的部分，例如左邊的鞋帶和右邊的鞋跟。
Q3. 無條件和有條件的擴散模型差在哪裡？
無條件模型只能隨機生成，不知道會出現什麼。有條件模型多輸入一個條件（例如類別「鞋子」），可以指定要生成什麼。
我的卡片盒筆記
卡片｜注意力的本質是知道該把焦點放在哪裡
注意力機制讓模型的每個位置都能看整張圖，再依相關程度決定從哪裡取多少資訊。它不是平均看所有東西，而是把焦點放在最相關的地方。這是 Transformer 能處理語言和圖片的核心。
這讓我想到羽毛球比賽時看對手。新手會什麼都看，看球、看拍、看腳，結果反應很慢。教練教我們先看對手的拍面和手腕，因為那最能預測球的方向，其他資訊只是輔助。這就像 query 和 key 算相似度，把注意力集中在最相關的地方。不過我覺得人的注意力很有限，模型卻可以同時開很多個 head 看不同的東西，這點是模型比人強的地方。看的地方對了，反應時間明顯縮短了。
下次打比賽，我要刻意只看對手的拍面五分鐘，記錄自己判斷球路的準確度有沒有提升。
🔗 推薦產生關聯的筆記： → 運動科學類：「視覺焦點決定反應速度」 → AI 原理類：「相似度是決定注意力的依據」 → 學習方法類：「讀書時也要有自己的 query」
