Shih-Hsin Wang 王士欣
EN

Machine Learning Foundations

介紹機器學習的核心概念、方法與實務，建立理解、分析與應用不同機器學習模型的基礎。

6 個單元 28 篇 已讀 0 / 28 2026年9月
  1. L0 學習就是擬合 0 / 4 監督式學習的三要素、損失函數決定你學到什麼、母體風險與經驗風險的差距，以及梯度下降的一頁。
    1. L0.0 房仲怎麼估價：從例子學規則
    2. L0.1 差一度與差十度：損失函數是一種宣告
    3. L0.2 台北的房仲去台中：風險與經驗風險
    4. L0.3 霧中下山，一步該走多大：梯度下降的一頁
    這個單元用到的工具
    M0.0 Gradient 與方向 M0.2 Taylor 展開與「假設直線」 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M3.4 Weak 與 Strong Convergence M5.1 KL Divergence 與 Cross-Entropy
  2. L1 泛化：過擬合、欠擬合與資料切分 0 / 5 背答案與學規則、bias–variance 分解、train / validation / test 的角色與資料洩漏、交叉驗證，以及用學習曲線開處方。
    1. L1.0 背考古題的學生：過擬合與欠擬合
    2. L1.1 十個房仲各看一百間房：Bias 與 Variance
    3. L1.2 老師用考古題教學又出題：為什麼要切資料
    4. L1.3 只有三十筆資料：交叉驗證
    5. L1.4 該收資料、換模型，還是多訓幾輪：學習曲線
    這個單元用到的工具
    M1.0 Gaussian 的線性組合 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M5.0 Convex Function 與 Jensen 不等式
  3. L2 實務中的最佳化 0 / 5 minibatch 梯度的噪聲、學習率與 Adam、移動目標與 EMA、正則化與提早停止、損失曲面與初始化。
    1. L2.0 民調只問一千人：小批次與噪聲
    2. L2.1 一個 η 不夠用：動量與 Adam 各買到什麼
    3. L2.2 追一隻自己也在跑的狗：目標由自己產生的時候
    4. L2.3 限制筆記頁數，或考前一天停止補習：正則化與提早停止
    5. L2.4 同一張地圖從不同地方出發：損失曲面與初始化
    這個單元用到的工具
    M0.0 Gradient 與方向 M0.2 Taylor 展開與「假設直線」 M1.0 Gaussian 的線性組合 M1.1 Conditional Expectation M3.0 Random Walk 到 Brownian Motion M3.1 SDE 是加了噪聲的 ODE M5.2 移動目標、EMA 與 Stop-Gradient
  4. L3 實驗方法與超參數搜尋 0 / 4 參數與超參數的分界、grid / random / Bayesian 搜尋、巢狀驗證與 winner's curse、跨種子變異數與誠實報告。
    1. L3.0 火力與時間是食譜的一部分，還是煮的時候決定的？
    2. L3.1 同樣試一百次：排成格子，還是隨便丟？
    3. L3.2 從一百個學生裡挑最好的，他下次會考得更好嗎？
    4. L3.3 同一個實驗跑三次結果都不同，該報哪一個？
    這個單元用到的工具
    M1.0 Gaussian 的線性組合 M5.0 Convex Function 與 Jensen 不等式
  5. L4 常見架構：結構對應歸納偏置 0 / 6 MLP 與「什麼都能擬合」、反向傳播、卷積與平移等變、U-Net 與殘差、注意力與 Transformer、條件與時間怎麼注入。
    1. L4.0 什麼都能擬合，那為什麼還需要別的架構？
    2. L4.1 生產線出了瑕疵，怎麼知道是哪一站的責任？
    3. L4.2 同一個東西換個位置出現，要怎麼讓模型知道那還是同一個東西？
    4. L4.3 一張圖裡同時有紋理、物件和整個場景，一個固定大小的核怎麼辦？
    5. L4.4 要看哪裡，能不能由內容決定，而不是由位置決定？
    6. L4.5 同一台機器要依指令做不同的事，指令從哪裡餵進去？
    這個單元用到的工具
    M0.0 Gradient 與方向 M0.2 Taylor 展開與「假設直線」 M0.3 全導數、微分穿過積分與 JVP M1.1 Conditional Expectation
  6. L5 機率建模與生成模型的評估 0 / 4 最大似然與 KL、潛在變數與 ELBO、自回歸分解與因子化假設，以及怎麼評估一個生成模型。
    1. L5.0 要怎麼替「這個模型有多符合資料」打一個分數？
    2. L5.1 當那個要加總的量算不出來，可以退到哪裡？
    3. L5.2 一個高維的機率，能不能拆成一串一維的機率？
    4. L5.3 一個生成模型好不好，該用哪一個數字回答？
    這個單元用到的工具
    M1.0 Gaussian 的線性組合 M1.3 Bayes 與 Posterior M4.0 Markov Chain 與 Transition Matrix M5.0 Convex Function 與 Jensen 不等式 M5.1 KL Divergence 與 Cross-Entropy M6.1 W₂ 距離

亮起來的是這台瀏覽器讀過的篇；這筆紀錄只留在你的裝置上。