SGD 的噪聲地板：η 與 B 只以 η/B 的組合出現

學習目標：固定學習率的 SGD 不會收斂到最小點，它停在一個噪聲地板上。而 η 與 B 只以 η/B 這個組合決定地板的高度——調小 η 和加大 B 在這件事上是同一個旋鈕。

等高線＝全批次損失；折線＝最近 300 步的 SGD 軌跡；雲＝穩態時最近 1500 步的落點；✕＝最小點

縱軸 log：全批次損失減去最小值，對步數。虛線＝量到的地板（最後 1500 步的中位數）

η（相對 η*）批次 B

放回抽樣 η 隨步數衰減

η/B = — 量到的地板 = — 地板 ÷ (η/B) = — 另一組的地板 = — 另一組的比值 = — κ = —

觀察：按「疊上 η/B 相同的另一組」，η 與 B 各差四倍而兩條曲線掉到同一個高度——「地板 ÷ (η/B)」那兩欄會對上。關掉放回抽樣，B 大的那一組會低一截：不放回多了一個 (n−B)/(n−1) 的因子，B 拉到 60（＝全部資料）時它直接變成 0，地板掉到底。打開衰減，曲線穿過地板繼續往下。把 η 拉到最右端則會看到比例關係開始失準——那條規則只在 η 夠小的時候成立。