學習目標:限制容量(ridge 的 λ)與限制時間(提早停止的步數 t)不是兩個不同的想法。用 λ = 1/(2ηt) 把兩個刻度對齊之後,兩條真實風險曲線疊在一起。而且兩者都只在 variance 還有東西可壓的時候才賺——把次數調到 2,正則化就變成純虧。
散點=訓練資料;灰虛線=真值;紅線=ridge 的解;綠線=提早停止在對應步數的解
縱軸=真實風險,橫軸=對齊後的 λ(log,由大到小)。紅=ridge、綠=提早停止(用 λ=1/(2ηt) 換算)
觀察:兩條曲線幾乎完全重合(預設設定下 ridge 0.0313、提早停止 0.0308,差 0.0005),而且改 η 之後綠色那條在對齊後的 λ 刻度上仍然不動——它只在 t 的刻度上左右平移。這就是等價成立的證據。在這組設定下最低點落在左端(λ 越小越好,和筆記裡量到的 λ=10⁻⁸ 一致);把 n 調小或把次數調大,谷底才會往右移進畫面。而把次數調到 2,兩條曲線都變成單調上升:bias 已經主導的時候,正則化是純虧。