學習目標:訓練誤差對容量永遠單調下降,所以它單獨不含泛化的資訊。母體風險是 U 形,而谷底的位置隨 n 移動——「模型太複雜」永遠是相對於資料量的陳述。
散點=訓練資料;灰虛線=真值;實線=目前 d 的擬合
縱軸 log:訓練誤差與母體風險對 d;水平線=σ²;▼=U 形谷底;垂直線=目前的 d
觀察:拉大 n,谷底往右移、整條 U 變平,原本掉到天花板的大 d 會回到地板上。把 σ 設成 0,水平參考線落到 0 而U 的右半仍然上翹。打開四分位帶,大 d 那一段寬得離譜——那個寬度就是下一篇要拆出來的 variance。