L03｜神經網路基礎：梯度下降與 ReLU（Neural net foundations）

深度學習的數學基礎：用隨機梯度下降（SGD）調整參數，以及「線性函數加上 ReLU」疊起來能逼近任何形狀。 （The maths behind deep learning: stochastic gradient descent, and how linear functions plus ReLU can fit any shape.）

影片

本課重點

1. 怎麼上一堂 fast.ai 的課：邊看影片邊記筆記 → 跑 notebook 並實驗 → 不看筆記重寫一次 → 換一個資料集再做一次。最好找讀書會一起學。
2. 選更好的模型：Jeremy 的「Which image models are best?」比較了大量 timm 模型的準確度、速度和記憶體。先用小而快的模型迭代，再試更大的。模型檔裡存的是架構加參數。
3. 擬合函數：用一個有三個參數 a、b、c 的二次函數去貼合一堆資料點。先用滑桿手動調，再發現需要一個客觀分數：均方誤差（MSE）。
4. 梯度下降：PyTorch 能自動算出每個參數的梯度（斜率），告訴你參數往哪邊調、損失會下降。新參數 = 舊參數 − 學習率 × 梯度，重複執行就是梯度下降。
5. 學習率：步伐太大會跳過最低點甚至發散，太小則要走很久。用一個小數字乘上梯度，慢慢往谷底走。
6. ReLU 與無限彈性：ReLU 把負數變成 0、正數不變。把很多條 ReLU 加起來，可以做出任意彎曲的函數，這就是神經網路的威力。矩陣乘法讓 GPU 能一次算幾百萬個。
7. 用試算表做鐵達尼號模型：在 Excel 裡把乘客資料轉成數字（虛擬變數、Fare 取 log、正規化），用矩陣乘法做線性迴歸，再把兩個 ReLU 結果相加變成神經網路，用 Solver 做梯度下降。

關鍵概念

認識關聯圖與重點圖

迷你範例：梯度下降一步

# 損失 L(w) = w**2，梯度 dL/dw = 2*w
w, lr = 3.0, 0.1
w = w - lr * (2 * w)   # 3 - 0.1*6 = 2.4

（One step of gradient descent: w moves from 3.0 to 2.4.）

練習題

1. 損失函數 L(w) = w²，目前 w = 3，學習率 0.1。算出梯度、更新一次後的 w，再更新第二次的 w。
2. ReLU(x) = max(0, x)。算出 ReLU(−2)、ReLU(0)、ReLU(3)。為什麼把很多 ReLU 加起來可以做出彎曲的形狀？
3. 學習率太大和太小各會發生什麼事？
4. 模型預測 [2, 4]，正確答案 [3, 3]。算出 MSE。
5. 鐵達尼號資料中，Fare（票價）從 0 到 500 都有，Age 大約 0 到 80。為什麼要對 Fare 取 log 並正規化？

• 中文學生作答：L03_中文F3學生_202611041526
• English student answers: L03_EN_F3_Student_202611041526

資源連結

相關筆記

• 課程總覽：00_課程總覽_202611041526
• 上一課：L02_模型部署_202611041526
• 下一課：L04_自然語言處理_202611041526