梯度下降：門檻由最陡的方向決定，速度由最平的方向決定

學習目標：在一個二次碗上，梯度下降的發散門檻是 η* = 2/λ_max（最陡的方向），而收斂速度由條件數 κ = λ_max/λ_min（最平的方向）決定。把特徵乘一個尺度，這三個數字一起被改寫；打開標準化，碗變圓。

等高線＝損失；折線＝梯度下降的軌跡（起點固定在右上）；✕＝最佳解

縱軸 log：損失對步數。虛線＝用 η* 的一半時的理論收縮率

η（相對 η*）特徵尺度 s

每欄標準化

λmax = — κ = — η* = — 目前 η = — 50 步後的損失 = —

觀察：把 η 推過 η*（滑桿最右端），軌跡從之字收斂變成之字放大，下圖變成一條往上的直線。拉動特徵尺度，λ_max 與 η* 掃過好幾個數量級而碗肉眼可見地被拉長；打開標準化，碗變圓、κ 掉下來、同樣的步數走得遠得多——標準化不是清潔工作，是在改碗的形狀。