學習目標:把一個旋鈕往一端推會讓訓練誤差單調變好,所以它不能用訓練誤差來選——那樣選出來的永遠是候選清單的上限,和資料沒有關係。這件事不是容量旋鈕的專利,訓練步數也一樣

橫軸=候選的多項式次數。三條線:訓練誤差、驗證誤差、真實風險(灰,實務上看不到)。兩個游標=兩種選法挑到的位置

同一件事換成「訓練步數」這個旋鈕(橫軸 log)

訓練誤差選的 d = 它的真實風險 = 驗證誤差選的 d = 它的真實風險 = 差 =

觀察:拖動候選上限,「訓練誤差選的」那個游標永遠貼在最右邊——上限調到哪它就跟到哪,答案與資料無關。把驗證集調小,另一個游標開始亂跳,但它不會貼邊。下圖顯示同樣的事發生在訓練步數上:訓練誤差對步數也是單調下降,所以「訓多久」同樣不能用訓練誤差決定。