學習目標:經驗風險是你能算的數字,母體風險是你想小的數字。多項式次數 d 拉大時,前者單調下降,後者有最低點——兩條分家的位置由 n、噪聲與模型空間大小一起決定。
散點=訓練資料;灰虛線=真值 sin(2πx);實線=目前 d 的最小平方擬合
縱軸 log:實線=訓練 MSE、虛線=母體風險、水平線=不可約誤差 σ²、垂直線=目前的 d
觀察:訓練 MSE 永遠往下,母體風險卻有一個最低點。把 n 拉大,兩條分家的位置往右移(同一個 d 不再過擬合);把 σ 設成 0,水平參考線掉到 0 而大 d 仍然過擬合——過擬合不需要噪聲,只需要模型空間太大。