L04｜自然語言處理（NLP）入門
用 Hugging Face Transformers 微調預訓練語言模型，判斷美國專利片語的相似度，並學會驗證集、測試集與評估指標。
L04｜自然語言處理（NLP）入門（Natural Language (NLP)）
零基礎提示
- 這一課不用額外數學
- 看不懂的詞查 白話小辭典
- 字幕：離線網站選「中英」（電腦翻譯，大意正確）
用 Hugging Face Transformers 微調預訓練語言模型，判斷美國專利片語的相似度，並學會驗證集、測試集與評估指標。 （Fine-tune a pretrained Hugging Face Transformers model to score how similar US patent phrases are, and learn about validation sets, test sets and metrics.）
| 項目 | 內容 |
|---|---|
| 所屬 | Part 1：Practical Deep Learning |
| 影片 | YouTube |
| 對應書本章節 | 第 10 章 NLP |
| 原始頁面 | Lessons/lesson4 |
| 難度（F3 視角） | ★★★☆☆ 中等 |
影片
本課重點
- ULMFiT 三步驟：① 在維基百科上訓練語言模型（預測下一個字）② 用 IMDB 影評微調語言模型 ③ 把它改成分類器。Transformers 的流程類似，只是預訓練時改成猜被遮住的字。
- 模型的不同層學到什麼：前面的層學簡單特徵（邊緣、筆畫），後面的層學複雜概念。遷移學習時保留前面的層，主要重新訓練後面的層。
- 把問題轉成熟悉的問題：專利比賽要預測 anchor 和 target 兩個片語在某個 context 下的相似度分數。做法是把三者接成一段文字，例如「TEXT1: … TEXT2: … ANC1: …」，變成一般的文字分類／迴歸問題。
- Tokenization 與 Numericalization：神經網路只吃數字。先把句子切成 token（常用子詞 subword，不一定是完整單字），再把每個 token 對應到詞彙表中的編號。必須使用預訓練模型自己的 tokenizer。
- 過擬合與欠擬合：模型太簡單會系統性偏差（欠擬合），太複雜會連雜訊都背起來（過擬合）。所以要用模型沒看過的驗證集來檢查。
- 驗證集與測試集：隨機切 20% 不一定好，例如預測未來的題目，驗證集應該用最新的時間段。反覆對驗證集調參也會過擬合，所以還要留一份最後才用的測試集。
- 指標 vs 損失函數：指標（如 Pearson 相關係數 r）是用來判斷好壞的；損失函數要平滑才好算梯度，兩者不一定相同。r 對極端值很敏感，要畫圖看。
關鍵概念
| 英文術語 | 中文 | 一句話解釋 |
|---|---|---|
| NLP | 自然語言處理 | 讓電腦處理人類文字的技術，例如分類、摘要、問答 |
| Transformer | Transformer 模型 | 目前最主流的 NLP 模型架構，能善用 GPU 平行運算 |
| Token / Tokenizer | 詞元／分詞器 | 把文字切成小單位的工具，常切成子詞 |
| Numericalization | 數值化 | 把每個 token 換成詞彙表中的編號 |
| Overfitting | 過擬合 | 模型背下訓練資料的雜訊，遇到新資料表現變差 |
| Underfitting | 欠擬合 | 模型太簡單，連訓練資料的規律都抓不到 |
| Validation / Test set | 驗證集／測試集 | 驗證集用來調整模型，測試集留到最後只用一次 |
| Metric | 評估指標 | 人看的成績單，例如準確率、相關係數 |
| Pearson r | 皮爾森相關係數 | −1 到 1，衡量兩組數字是否一起變大變小 |
| Batch size | 批次大小 | 一次送進 GPU 計算的資料筆數 |
認識關聯圖與重點圖
練習題
- 神經網路只能處理數字。一句英文要經過哪兩個步驟才能送進模型？各做什麼？
- 用自己的話解釋過擬合和欠擬合，並各舉一個「考試溫習」的例子。
- 你要預測下個月的商店銷售額，手上有過去三年的資料。驗證集應該怎麼選？為什麼不能隨機抽？
- 有驗證集了，為什麼還需要測試集？
- Pearson r = 0.9、0.1、−0.8 各代表什麼？為什麼課程說一定要畫圖，不能只看數字？
- 中文學生作答：L04_中文F3學生_202611041526
- English student answers: L04_EN_F3_Student_202611041526
