學習目標：chain rule 對不同順序都成立，但有限資料與受限的 conditional model 不保證學到同一個分布。比較上下文長度與生成順序，觀察測試 NLL 的差異；另一張圖則比較逐位置生成需要的輪數。

不同順序的測試 NLL；條件表在訓練集估計，橫線是真模型在同一份測試集的參考分數，不是有限樣本分數的下界。

可切換：(a) 順序的分布（兩種容量疊在一起）　(b) 取樣要走幾步：自迴歸 vs 一次到位

真模型的測試 NLL（參考） = — 最好的順序 = — 最差的順序 = — 最差 − 最好 = — 看全部前綴：最差 − 最好 = — 自迴歸取樣要走幾步 = —

觀察：先比較「看全部」與較短上下文的分數散佈，再改變相依強度與資料量。短上下文可能因順序而省略不同依賴；完整前綴也仍有有限樣本估計與 smoothing 的影響，分數不必完全相同。真模型只在 population expected NLL 上給出 entropy 下界，不保證每份有限測試集都排第一。取樣成本圖量的是逐位置生成輪數，不是實際執行時間。