L18｜中文 F3 學生的學習紀錄
L18｜中文 F3 學生的學習紀錄
角色設定：我是中三學生，只看得懂中文。Python 學過變數、for 迴圈和 list，數學讀到一元二次方程。我靠中文課程筆記、YouTube 自動翻譯字幕和查字典來學。Kaggle 筆記本的操作步驟，是依官方 notebook 流程寫下的練習紀錄。
我讀懂了什麼（用自己的話）
- Momentum 像滾下坡的球，有慣性，不會因為一點小坑就改方向。
- Adam 是現在最常用的優化器，把兩個好方法合在一起。
- 學習率可以在訓練中改變：開始大步走，快到終點時小步走。
- ResNet 讓每層只要學「要改多少」，所以可以疊很深。
我卡住的地方，和我怎麼解決
| 卡住的地方 | 我怎麼解決 |
|---|---|
| 移動平均的公式 | 用 Excel 拉一列數字自己算，看到 m 是慢慢跟上 g，不會一下子跳過去。 |
| x + f(x) 為什麼有用 | 想到改作文：老師不用重寫整篇，只要在原文上加修改。原文是 x，修改是 f(x)。 |
練習作答
Q1. 用移動平均 m = 0.9 × m + 0.1 × g 計算：目前 m = 10，新梯度 g = 0，更新後 m 是多少？這說明 momentum 有什麼效果？
m = 0.9 × 10 + 0.1 × 0 = 9。雖然這次梯度是 0，m 還保留了 9，代表它不會因為一次的梯度突然改變方向，有慣性，可以平滑掉雜訊。
Q2. 殘差連接把輸出寫成 x + f(x)。為什麼這樣比較容易訓練很深的網路？
如果某一層學不到有用的東西，f(x) 只要接近 0，輸出就等於 x，資訊和梯度可以直接穿過去，不會被很多層弄壞。所以加深網路至少不會比淺的更差。
Q3. 為什麼學習率要在訓練後期變小？
開始時離最佳解很遠，大步走比較快；接近最佳解時如果步伐還很大，會在谷底附近跳來跳去。變小才能穩穩停在最低點附近。
我的卡片盒筆記
卡片｜只學需要修正的部分，比整個重來更容易
ResNet 的殘差連接把輸出寫成「原本的輸入加上修正」。每一層不必從零學出完整答案，只要學該改多少；如果沒什麼要改，就讓修正接近 0。所以網路可以疊得很深，還能穩定訓練。
我改中文作文時深有體會。以前老師發回作文，我會整篇重寫，越寫越亂，還把原本好的句子改壞。後來我改成只在原文上加修正，保留好的部分，改錯字和不通順的地方，作文分數反而穩定上升。不過我也覺得，如果原文的方向完全錯了，只做小修正是不夠的，有時候還是要重寫。老師在評語裡寫到，我的作文終於有一條清楚的主線，因為好的部分沒有在一次次重寫中被丟掉。這和殘差連接保留原本的 x 很像。
這週我要做的小行動：下一篇作文用紅筆只做修正，不重寫，比較修改前後的字數和分數。
🔗 推薦產生關聯的筆記： → 寫作類：「好的修改是保留對的、只改錯的」 → 優化類：「慣性能幫你穿過小坑洞」 → 訓練類：「先大步探索，後小步微調」
