學習目標:換一個損失,就是換一個你在乎什麼的宣告。上圖:同一份資料、同一個模型空間,三種損失被同一個離群值拉走的程度差很多。下圖:同一個錯誤在兩種分類損失下,梯度大小差很多——那決定模型錯得離譜時能不能爬回來。
散點=資料(紅圈那點的高度可調);灰虛線=真值;三條實線=平方/絕對值/Huber 的擬合
橫軸=正確類別的 logit z(越負錯得越離譜);縱軸=損失對 z 的梯度大小
觀察:把離群值往上拖,平方損失的曲線整條被拉走,絕對值與 Huber 幾乎不動——平方損失對一個點的扣分隨距離平方成長,所以它寧可挪動整條曲線也要照顧那一點。下圖是另一件事:z 很負(錯得離譜)時,平方損失的梯度趨近 0 而 cross-entropy 趨近常數,前者會卡住、後者會把自己拉回來。