學習目標:「取最好的那一次」估的是分布的極值,不是中心,所以它不會隨重複次數收斂到任何東西。兩個完全相同的方法各跑 k 次、各報最好的,贏家看起來就會好一截——而那個假優勢的大小由你的相對抖動決定。
一條分數軸上兩片重疊的點雲(兩個方法,真實中心畫成虛線);實心點=這次抽到的 k 個,圈起來的是各自最好的那個
下圖可切換:「假優勢對 k」或「用中位數報法時,正確分辨真實差距的機率」
觀察:把真實差距設成 0(兩個方法一模一樣),k=3 時假優勢的中位數大約是 7%,十次裡有一次超過 21%(筆記裡那組 200 個 seed 的實測分布給的是 10.5% 與 26.8%——分布的形狀會影響數字,方向與量級一致)。重點是它降得很慢而且不收斂到零:取最好估的是極值。切到「要幾個種子」:把相對抖動從 0.29 調到 0.10,同樣的把握需要的種子數少一個數量級;關掉配對比較,整組曲線往右移。