bias、variance、不可約：三塊各自由什麼決定

學習目標：同一個誤差可以拆成三塊。bias² 是「平均起來的模型」離真值多遠（由假設空間決定），variance 是每一次重抽的模型彼此差多遠（由空間大小與資料量的比值決定），不可約 是 σ²（由問題決定）。三個旋鈕互不代替。

細線＝R 次重抽各自的擬合；粗線＝它們的平均；灰虛線＝真值

對 d 的堆疊面積：底層＝σ²、中層＝bias²、上層＝variance；虛線＝三者之和

次數 d n

噪聲 σ 重抽次數 R

bias² = — variance = — σ² = — 合計 = — 谷底 d = —

觀察：把 n 加大，variance 那一層變薄而 bias² 那一層紋風不動——加資料只買到其中一塊。把 σ 設成 0，底層消失但 variance 仍在（重抽的 x 位置本身就會讓模型變動）。把 R 調小，整張圖自己在抖：估計這三塊也需要足夠的重複。