學習目標:訓練誤差對容量永遠單調下降,所以它單獨不含泛化的資訊。母體風險是 U 形,而谷底的位置隨 n 移動——「模型太複雜」永遠是相對於資料量的陳述。

散點=訓練資料;灰虛線=真值;實線=目前 d 的擬合

縱軸 log:訓練誤差與母體風險對 d;水平線=σ²;▼=U 形谷底;垂直線=目前的 d

n = 30 U 形谷底 d = 谷底風險 = 目前訓練誤差 = 目前母體風險 =

觀察:拉大 n,谷底往右移、整條 U 變平,原本掉到天花板的大 d 會回到地板上。把 σ 設成 0,水平參考線落到 0 而U 的右半仍然上翹。打開四分位帶,大 d 那一段寬得離譜——那個寬度就是下一篇要拆出來的 variance。