學習目標:網路只給每個位置的 marginal。一次翻開 k 個位置,就是假設它們條件獨立——相依越強、k 越大,漏掉的越多。一次翻開一個永遠沒有這個誤差,而那就是 autoregressive。

上排=8 格 0/1 序列(灰=還沒翻開) 左表=將要翻開那組位置的真實 joint(灰=不合法,機率 0) 右表=marginal 的乘積(每一個組合都有值) k≥4 時組合太多,畫成一排細柱

每步翻開幾個
這一步的因子化誤差 FE = 目前序列 = 合法率(1000 次)=

資料是 parity:8 格 0/1,唯一的約束是總和是偶數。前七格完全自由(marginal 都是 0.5/0.5),第八格被前七格決定。按 k=1:每一步只翻開一格,FE 一直是 0,合法率 100%。按 k=2 或更大:最後一步同時翻開最後兩格時,真實 joint 只有兩種合法組合、marginal 的乘積卻把四種都給了同樣的權重,FE = log 2 ≈ 0.693,合法率掉到 50%。誤差只出現在有相依的那一步——這就是離散世界的「彎」。