Machine Learning Foundations

1. L0 學習就是擬合 0 / 4 The three ingredients of supervised learning, how the loss decides what you learn, population vs. empirical risk, and gradient descent on one page.

   1. L0.0 房仲怎麼估價：從例子學規則
   2. L0.1 差一度與差十度：損失函數是一種宣告
   3. L0.2 台北的房仲去台中：風險與經驗風險
   4. L0.3 霧中下山，一步該走多大：梯度下降的一頁

   Tools this unit uses

   M0.0 Gradient 與方向 M0.2 Taylor 展開與「假設直線」 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M3.4 Weak 與 Strong Convergence M5.1 KL Divergence 與 Cross-Entropy
2. L1 泛化：過擬合、欠擬合與資料切分 0 / 5 Memorizing vs. learning, the bias–variance decomposition, the roles of train / validation / test and how leakage happens, cross-validation, and reading learning curves as a diagnosis.

   1. L1.0 背考古題的學生：過擬合與欠擬合
   2. L1.1 十個房仲各看一百間房：Bias 與 Variance
   3. L1.2 老師用考古題教學又出題：為什麼要切資料
   4. L1.3 只有三十筆資料：交叉驗證
   5. L1.4 該收資料、換模型，還是多訓幾輪：學習曲線

   Tools this unit uses

   M1.0 Gaussian 的線性組合 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M5.0 Convex Function 與 Jensen 不等式
3. L2 實務中的最佳化 0 / 5 Minibatch gradient noise, learning rates and Adam, moving targets and EMA, regularization and early stopping, loss landscapes and initialization.

   1. L2.0 民調只問一千人：小批次與噪聲
   2. L2.1 一個 η 不夠用：動量與 Adam 各買到什麼
   3. L2.2 追一隻自己也在跑的狗：目標由自己產生的時候
   4. L2.3 限制筆記頁數，或考前一天停止補習：正則化與提早停止
   5. L2.4 同一張地圖從不同地方出發：損失曲面與初始化

   Tools this unit uses

   M0.0 Gradient 與方向 M0.2 Taylor 展開與「假設直線」 M1.0 Gaussian 的線性組合 M1.1 Conditional Expectation M3.0 Random Walk 到 Brownian Motion M3.1 SDE 是加了噪聲的 ODE M5.2 移動目標、EMA 與 Stop-Gradient
4. L3 實驗方法與超參數搜尋 0 / 4 Parameters vs. hyperparameters, grid / random / Bayesian search, nested validation and the winner's curse, seed variance and honest reporting.

   1. L3.0 火力與時間是食譜的一部分，還是煮的時候決定的？
   2. L3.1 同樣試一百次：排成格子，還是隨便丟？
   3. L3.2 從一百個學生裡挑最好的，他下次會考得更好嗎？
   4. L3.3 同一個實驗跑三次結果都不同，該報哪一個？

   Tools this unit uses

   M1.0 Gaussian 的線性組合 M5.0 Convex Function 與 Jensen 不等式
5. L4 常見架構：結構對應歸納偏置 0 / 6 MLPs and universal approximation, backpropagation, convolution and translation equivariance, U-Nets and residuals, attention and Transformers, and how conditioning and time are injected.

   1. L4.0 什麼都能擬合，那為什麼還需要別的架構？
   2. L4.1 生產線出了瑕疵，怎麼知道是哪一站的責任？
   3. L4.2 同一個東西換個位置出現，要怎麼讓模型知道那還是同一個東西？
   4. L4.3 一張圖裡同時有紋理、物件和整個場景，一個固定大小的核怎麼辦？
   5. L4.4 要看哪裡，能不能由內容決定，而不是由位置決定？
   6. L4.5 同一台機器要依指令做不同的事，指令從哪裡餵進去？

   Tools this unit uses

   M0.0 Gradient 與方向 M0.2 Taylor 展開與「假設直線」 M0.3 全導數、微分穿過積分與 JVP M1.1 Conditional Expectation
6. L5 機率建模與生成模型的評估 0 / 4 Maximum likelihood and KL, latent variables and the ELBO, autoregressive factorization and independence assumptions, and how to evaluate a generative model.

   1. L5.0 要怎麼替「這個模型有多符合資料」打一個分數？
   2. L5.1 當那個要加總的量算不出來，可以退到哪裡？
   3. L5.2 一個高維的機率，能不能拆成一串一維的機率？
   4. L5.3 一個生成模型好不好，該用哪一個數字回答？

Lit notes are what this browser has read; the record stays on this device. Clear