U5.2 反向 Rate 與 Concrete Score

本篇重用M4.2電話隨時會響：Continuous-Time Markov Chain 與 Rate Matrix·M4.3影片倒著播看得出來嗎：Time Reversal 與比值·M1.3快篩陽性：Bayes 與 Posterior·M1.1從鞋子猜身高：Conditional Expectation

把水管倒過來

上一篇的三個水桶裡，每根管子上的 rate 說的是 forward 方向：資料變噪聲時，機率怎麼流。生成要反著走——從噪聲回到資料。問題是：反向的鏈，每根管子上該標什麼數字？

先給畫面。在時刻 $t$，從 $y$ 流到 $x$ 的流量（不是 rate，是 rate 乘上來源的水位）是 $p_t(y)\,R_t(y\to x)$。時間倒放，這股水應該原路流回去：從 $x$ 回到 $y$。反向鏈裡 $x\to y$ 的流量 $p_t(x)\,\bar R_t(x\to y)$ 得等於它：

$$p_t(x)\,\bar R_t(x\to y)=p_t(y)\,R_t(y\to x) \quad\Longrightarrow\quad \boxed{\;\bar R_t(x\to y)=R_t(y\to x)\,\frac{p_t(y)}{p_t(x)}\;}\qquad(y\ne x).$$

這是「把每根水管的流量倒過來」。左邊的式子叫 flux balance——每一對狀態之間，反向的流量等於 forward 的流量反向；它和 Markov chain 裡的 detailed balance 長得一樣，只是這裡不需要鏈是 reversible，因為兩邊的 rate 是不同的鏈（一條是 forward、一條是 reverse）。

用 Bayes 定理也能一行推出來，而且會看到「反向」與「posterior」的關係——U4.1 的 $q(x_{t-1}\mid x_t,x_0)$ 是多知道 $x_0$ 的反向一步，這裡是不知道 $x_0$ 的反向一小步：

$$q(x_t=y\mid x_{t+\Delta t}=x)=\frac{q(x_{t+\Delta t}=x\mid x_t=y)\,p_t(y)}{p_{t+\Delta t}(x)} \approx\frac{R_t(y\to x)\,\Delta t\;p_t(y)}{p_t(x)},$$

除以 $\Delta t$ 就是 $\bar R_t$。

展開細節兩狀態手算，以及一般情形的驗證

兩狀態。 狀態 $a,b$，forward 只有 $a\to b$ 的 rate $r$（$b$ 是吸收態）。從 $p_0=(1,0)$ 出發：$p_t(a)=e^{-rt}$，$p_t(b)=1-e^{-rt}$。

反向 rate：

• $\bar R_t(b\to a)=R_t(a\to b)\,\dfrac{p_t(a)}{p_t(b)}=\dfrac{r\,e^{-rt}}{1-e^{-rt}}$。
• $\bar R_t(a\to b)=R_t(b\to a)\,\dfrac{p_t(b)}{p_t(a)}=0$（forward 沒有 $b\to a$，反向也就沒有 $a\to b$）。

檢查邊際：反向鏈在倒著走的時間裡，$a$ 的水位增加率是 $p_t(b)\,\bar R_t(b\to a)=r\,e^{-rt}=-\dot p_t(a)$。倒著走剛好把 forward 的下降還回來。✓

注意 $\bar R_t(b\to a)$ 在 $t\to0$ 時發散（$1-e^{-rt}\to0$）：接近資料端時，還留在 [MASK] 的極少數質量要以極快的速度翻開。這與上一篇 $\beta_t$ 在 $t\to1$ 發散是鏡像。

一般情形。 令反向鏈的 generator 為 $\bar R_t$（非對角如上，對角取負列和）。計算 $(p_t\bar R_t)(y)$：

$$\sum_{x\ne y}p_t(x)\bar R_t(x\to y)-p_t(y)\sum_{x\ne y}\bar R_t(y\to x) =\sum_{x\ne y}p_t(y)R_t(y\to x)-\sum_{x\ne y}p_t(x)R_t(x\to y)=-(p_tR_t)(y)=-\dot p_t(y).$$

所以在倒轉的時間 $s=1-t$ 裡 $\frac{d}{ds}p=p\bar R$——反向鏈的邊際恰好沿著 forward 的邊際往回走。這是 U3.1 那個 Fokker–Planck 代入驗證的離散版；Anderson [5] 的 reverse-time SDE 是連續狀態的同一件事。

讀這條式子。$\bar R_t(x\to y)$ 是兩個因子的乘積：

1. $R_t(y\to x)$：forward 的 rate 反向讀。完全已知，是我們自己定的鏈。
2. $\dfrac{p_t(y)}{p_t(x)}$：兩個鄰居的邊際機率比。這是唯一不知道的東西，它依賴資料分佈。

離散空間的 score 是什麼？

反向 rate 已經寫出來了，但裡面那個要學的東西還沒有名字。先問清楚它是什麼，再去想怎麼把它訓出來。

課堂提問Q1

U1.4 的 reverse SDE 裡，唯一要學的東西是 score $\nabla_x\log p_t(x)$。U4.0 說離散空間沒有梯度，所以 score 壞了。現在有了反向 rate 的式子——離散空間裡扮演 score 角色的量是什麼？ 它和連續的 score 是什麼關係？

先想一想，再展開看整理後的答案

常見的答案大致三類：「對 logits 取梯度」、「$\log p_t(y)-\log p_t(x)$ 這種差」、「就是 $p_\theta(x_0\mid x_t)$，上一個單元已經學過了」。第一類把網路輸出的連續量誤當成狀態空間上的梯度——狀態本身沒有連續座標，對 logits 微分不對應任何「往密度高的方向走」。第二、三類都對，而且是同一件事的兩面。

它就是比值 $p_t(y)/p_t(x)$，對 $x$ 的每個鄰居 $y$ 各一個數。 反向 rate 的式子已經說了：反向過程需要的、且唯一不知道的量，就是它。

和連續 score 的關係是有限差分。一維裡

$$\partial_x\log p(x)=\lim_{h\to0}\frac{\log p(x+h)-\log p(x)}{h}\approx\frac1h\Big(\frac{p(x+h)}{p(x)}-1\Big),$$

score 是「往旁邊挪一小步，密度比變成多少」的極限。離散空間沒有「一小步」可以無限縮小，鄰居就是最小的一步，所以極限拿掉、$h$ 拿掉，剩下比值本身。Meng et al. [2] 把這個量叫 concrete score，Lou–Meng–Ermon [1] 用它建出 SEDD。

它在反向過程裡的位置也和 score 完全對應。連續：reverse SDE 的 drift 是「已知的 forward drift 反向」加上「$g^2\nabla\log p_t$」；離散：反向 rate 是「已知的 forward rate 反向」乘上「$p_t(y)/p_t(x)$」。一個是加、一個是乘，因為連續的 score 是 $\log$ 的導數、離散的比值沒有取 $\log$；把比值寫成 $\exp(\log p_t(y)-\log p_t(x))$，第二類答案的「差」就出現了。

第三類答案「就是 $p_\theta(x_0\mid x_t)$」也對——〈這是 conditional trick 的比值版本〉會證明比值可以完全由 $x_0$ 的 posterior 算出來。這是離散世界的 Tweedie 公式。

互動 demo：一個 $x_t$ 的所有鄰居。 資料是「相鄰格以 0.9 相同」的長度 16 鏈，$p_t$ 用前向演算法精確算出來，不是網路。absorbing 下每個 [MASK] 有兩根柱子（填 0 或填 1），而把共同因子 $\alpha_t/(1-\alpha_t)$ 除掉之後，同一格兩根的和永遠是 1.0000——那正是下面要證的 $p_t(y)/p_t(x)=\frac{\alpha_t}{1-\alpha_t}p(x_0^\ell=v\mid x_t)$：比值和 U4.2 那個網路只差一個已知的係數。比值本身隨 $t$ 一路縮小（$t=0.15$ 時最大 5.60、$t=0.5$ 是 0.99、$t=0.9$ 只剩 0.11），縮掉的就是那個係數（5.67 / 1.00 / 0.11）。沒被遮的位置畫成空槽：forward 沒有「字換成字」這條管子，反向也就沒有，那些比值根本不用學。切到 uniform，每一格都有一根柱子、比值全部擠在 1 附近（實測 0.88～1.18），要學的數量從「被遮格數 × 2」變成 $L$，而且沒有那個乾淨的化簡。

注意比值不是機率，不必加起來等於 1

$p_t(y)/p_t(x)$ 是兩個機率的比，它自己不是機率：它可以大於 1（往那邊改更像資料）、可以趨近 0，一個 $x$ 的所有鄰居加起來也不等於任何固定的數。demo 裡「兩根的和 = 1」是先除掉 $\alpha_t/(1-\alpha_t)$ 之後才成立，而且只在 absorbing 鏈上成立——它是下面那條化簡的結果，不是比值的普遍性質。切到 uniform 就沒有這回事。

這也是為什麼比值不能用 softmax 輸出：softmax 強制加起來等於 1，會把要學的量限制在錯的集合裡。實作上的做法是讓網路輸出實數再取 exp 保證正值，或者走 absorbing 的化簡——輸出 $x_0$ 的 posterior、再乘上那個已知係數。

這是 conditional trick 的比值版本

U1.2 的 conditional trick 是：邊際量難算、條件量好算，而邊際量等於條件量對 posterior 的平均，所以回歸條件量、網路自動收斂到邊際量。U1.3（score）、U2.2（速度）、U3.0（$b_t$ 與 $\eta_t$）走的都是這條路。現在看比值。

邊際 $p_t(x)=\sum_{x_0}q_t(x\mid x_0)\,p(x_0)$，其中 $q_t(\cdot\mid x_0)$ 是上一篇 $\bar Q_t$ 給的 closed form。於是

$$\frac{p_t(y)}{p_t(x)} =\sum_{x_0}\frac{q_t(y\mid x_0)\,p(x_0)}{p_t(x)} =\sum_{x_0}\underbrace{\frac{q_t(y\mid x_0)}{q_t(x\mid x_0)}}_{\text{條件比值}}\;\underbrace{\frac{q_t(x\mid x_0)\,p(x_0)}{p_t(x)}}_{p(x_0\mid x_t=x)} =\mathbb E\!\left[\frac{q_t(y\mid x_0)}{q_t(x\mid x_0)}\ \Big|\ x_t=x\right].$$

中間那一步只是在分子分母同乘 $q_t(x\mid x_0)$（對 posterior 權重為零的 $x_0$ 不用管）。三個角色到齊：

• 條件比值 $q_t(y\mid x_0)/q_t(x\mid x_0)$：給定 $x_0$，兩個鄰居的 forward 機率之比。好算——兩個 closed form 相除。
• 邊際比值 $p_t(y)/p_t(x)$：對整個資料分佈求和，難算。
• posterior $p(x_0\mid x_t=x)$：把前者平均成後者的權重。

所以只要拿 $(x_0,x_t)$ 配對、把條件比值當回歸目標，網路收斂到的就是邊際比值。到這裡整張表可以一次列出來：

版本	邊際量（要的）	條件量（訓練用）	出處
KL	反向一步 $q(x_{t-1}\mid x_t)$	$q(x_{t-1}\mid x_t,x_0)$	U1.2
MSE	score $\nabla\log p_t(x)$	$-\epsilon/\sigma_t$	U1.3
速度	邊際速度 $u_t(x)$	條件速度 $\dot\alpha_tx_1+\dot\sigma_tx_0$	U2.2
通式	$b_t$、$\eta_t$	$\dot\alpha_tx_0+\dot\beta_tx_1+\dot\gamma_tz$、$z$	U3.0
比值	$p_t(y)/p_t(x)$	條件比值 $q_t(y\mid x_0)/q_t(x\mid x_0)$	本篇

這張表不是我們自己歸納出來的巧合。U1.2 的主要參考把同一件事寫成一整節（[8] Section 6.1，標題就叫 Conditional Tricks: The Secret Sauce of Diffusion Models）：variational、score-based、flow-based 三個視角各自從不同動機出發，卻獨立地想到同一招——條件在 $x_0$ 上，然後每一條都是「條件版 $=$ 邊際版 $+$ 一個與參數無關的常數」。

前面幾列的「回歸」不是 KL 就是 MSE；比值這一列的目標是正數，用 MSE 也行但不自然（比值可以是 0 也可以很大）。SEDD 換了一個 loss。

SEDD：直接回歸比值

網路 $s_\theta(x,t)\in\mathbb R_{>0}^{\,L(K-1)}$ 對 $x$ 的每個鄰居 $y$ 輸出一個正數，目標是 $p_t(y)/p_t(x)$。Lou–Meng–Ermon [1] 的 score entropy：

$$\mathcal L_{\text{SE}}=\mathbb E_{x\sim p_t}\sum_{y\ne x}w_{xy}\Big[\,s_\theta(x)_y-\frac{p_t(y)}{p_t(x)}\log s_\theta(x)_y+h\!\Big(\frac{p_t(y)}{p_t(x)}\Big)\Big],\qquad h(a)=a(\log a-1).$$

$w_{xy}\ge0$ 是權重（下面說）。中括號裡的東西對 $s$ 是 convex 的、在 $s=p_t(y)/p_t(x)$ 時取最小值 0——它是 $s$ 與真比值之間的一個 Bregman divergence（見 Details）。這個形狀有兩個好處：$s\to0$ 時 $-a\log s\to\infty$，網路不會把任何比值壓到零；比值大時懲罰是線性的而不是平方的，不會被少數大比值主導。

真比值算不出來，但上面那張表說它是條件比值的後驗平均。中括號裡真比值只出現在 $-a\log s$ 這一項，而且是線性地出現；$h(a)$ 不含 $\theta$。所以把 $a$ 換成條件比值、對 $x_0$ 取期望，梯度不變：

$$\mathcal L_{\text{DSE}}=\mathbb E_{x_0\sim p_{\text{data}},\ x\sim q_t(\cdot\mid x_0)}\sum_{y\ne x}w_{xy}\Big[\,s_\theta(x)_y-\frac{q_t(y\mid x_0)}{q_t(x\mid x_0)}\log s_\theta(x)_y+h\!\Big(\frac{q_t(y\mid x_0)}{q_t(x\mid x_0)}\Big)\Big].$$

這叫 denoising score entropy。它和 U2.2 定理 2 的證明結構相同：展開、找出目標線性出現的那一項、用 tower property 把 posterior 平均收進去。

展開細節score entropy 是哪個 Bregman divergence；權重 wxy 該選什麼

Bregman divergence。 取 convex 函數 $\varphi(u)=u\log u-u$，$\varphi'(u)=\log u$。它生成的 Bregman divergence 是

$$D_\varphi(a\,\|\,s)=\varphi(a)-\varphi(s)-\varphi'(s)(a-s)=a\log a-a-s\log s+s-(a-s)\log s=s-a\log s+a(\log a-1),$$

正是 score entropy 中括號裡的東西（$a$ 是真比值、$s$ 是網路輸出）。$\varphi$ 這個選擇讓 $D_\varphi$ 成為「廣義 KL」：把兩個未正規化的正數當成質量來比。U1.3 的 MSE 是 $\varphi(u)=u^2$ 生成的 Bregman divergence；所有 Bregman divergence 都有「最小值是條件期望」的性質，這是為什麼換了 loss、後驗平均的論證還是成立。

權重。 SEDD 取 $w_{xy}=R_t(y\to x)$——把鄰居 $y$ 連到 $x$ 的 forward rate。這樣加權後的 denoising score entropy 對 $t$ 積分，是 $-\log p_\theta(x_0)$ 的一個上界（SEDD 論文的 likelihood bound，連續時間 ELBO 的形式；常數項與 $t\to0$ 端點怎麼處理要照論文讀，這裡只用到「forward 上不存在的管子不必學」這一點）。直覺：forward 上根本不存在的管子（$R_t(y\to x)=0$）反向也不需要，不必浪費容量去學它的比值；absorbing 鏈下這意味著只需要對「被遮位置翻成某個字」這 $\#\text{masked}\times K$ 個鄰居輸出比值。

Absorbing 鏈上：比值就是上一個單元的網路

對 absorbing 鏈把條件比值實際算出來。設 $x$ 在位置 $\ell$ 是 [MASK]、$y$ 在 $\ell$ 是字 $v$、其他位置相同。closed form $q_t(x\mid x_0)$ 逐位置因子化，其他位置的因子上下相消，只剩位置 $\ell$：

$$\frac{q_t(y\mid x_0)}{q_t(x\mid x_0)}=\frac{\alpha_t\,\mathbb 1[x_0^\ell=v]}{1-\alpha_t} \quad\Longrightarrow\quad \frac{p_t(y)}{p_t(x)}=\frac{\alpha_t}{1-\alpha_t}\;p\big(x_0^\ell=v\ \big|\ x_t=x\big).$$

比值等於「$x_0$-posterior 在位置 $\ell$ 的 marginal」乘一個只跟 $t$ 有關的常數。也就是說，U4.2 用 cross-entropy 訓出來的 $p_\theta(x_0^\ell\mid x_t)$，乘上 $\alpha_t/(1-\alpha_t)$，就是 concrete score。 兩條路——SEDD 的 score entropy 與 MDLM 的加權 cross-entropy——在 absorbing 鏈上學的是同一組數字，差別只在 parametrization 與 loss 的形狀 [6, 7]。這是 U5.6 要實際驗證的事。

代回反向 rate（forward rate 是 $\beta_t=-\dot\alpha_t/\alpha_t$）：

$$\bar R_t\big(\texttt{[MASK]}\to v\ \text{at }\ell\big)=\beta_t\cdot\frac{\alpha_t}{1-\alpha_t}\,p_\theta(x_0^\ell=v\mid x_t)=\frac{-\dot\alpha_t}{1-\alpha_t}\;p_\theta(x_0^\ell=v\mid x_t).$$

一個被遮的位置以總 rate $\frac{-\dot\alpha_t}{1-\alpha_t}$ 翻開，翻成哪個字按 $p_\theta$ 抽——這正是 U4.2 那枚硬幣的連續時間版，翻開的機率 $\frac{\bar\alpha_{t-1}-\bar\alpha_t}{1-\bar\alpha_t}$ 變成 rate 乘 $dt$。上一個單元的取樣器一直是這條 CTMC，只是我們當時沒有語言把它寫出來。

對 uniform 鏈，同樣的計算會給出一個由 $p(x_0^\ell\mid x_t)$ 決定、但形狀更複雜的比值（見 U5.6 作業）；forward 因子化時，「比值」和「$x_0$ 的逐位置 posterior」永遠是同一份資訊的兩種座標。

先消化一下

想一想

反向 rate $\bar R_t(x\to y)=R_t(y\to x)\,p_t(y)/p_t(x)$ 裡，需要學的部分是： $R_t(y\to x)$。 兩個因子都要學。 只有比值 $p_t(y)/p_t(x)$——forward rate 是我們自己定的鏈，完全已知。

看解答

想一想

「比值 $p_t(y)/p_t(x)$ 是條件比值 $q_t(y\mid x_0)/q_t(x\mid x_0)$ 的後驗平均」這件事，讓我們可以： 只用 $(x_0,x_t)$ 配對訓練，目標是好算的條件比值，網路自動收斂到難算的邊際比值。 不用網路，直接把邊際比值算出來。 證明 absorbing 比 uniform 好。

看解答

想一想

Score entropy 中括號裡 $s-a\log s+a(\log a-1)$，其中 $a$ 是真比值。把 $a$ 換成條件比值後梯度不變，關鍵是： $h(a)$ 是 convex 的。 $a$ 只在 $-a\log s$ 這一項與 $\theta$ 一起出現，而且是線性的，所以對 $x_0$ 取期望可以直接收進去；$h(a)$ 不含 $\theta$。 $s$ 一定是正的。

看解答

想一想

在 absorbing 鏈上，位置 $\ell$ 被遮，鄰居 $y$ 把它翻成字 $v$。比值 $p_t(y)/p_t(x)$ 等於： $p(x_0^\ell=v\mid x_t)$。 $\alpha_t\,p(x_0^\ell=v\mid x_t)$。 $\dfrac{\alpha_t}{1-\alpha_t}\,p(x_0^\ell=v\mid x_t)$。

看解答

參考文獻

1. Lou, A., Meng, C., Ermon, S. Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. ICML 2024.（SEDD：score entropy、denoising score entropy、likelihood bound、反向 rate 取樣。）
2. Meng, C., Choi, K., Song, J., Ermon, S. Concrete Score Matching: Generalized Score Matching for Discrete Data. NeurIPS 2022.（「concrete score」一詞與有限差分的觀點。）
3. Campbell, A., Benton, J., De Bortoli, V., Rainforth, T., Deligiannidis, G., Doucet, A. A Continuous Time Framework for Discrete Denoising Models. NeurIPS 2022.（CTMC 時間反轉的 rate 用在離散擴散上。）
4. Sun, H., Yu, L., Dai, B., Schuurmans, D., Dai, H. Score-based Continuous-time Discrete Diffusion Models. ICLR 2023.（以比值為目標的另一條獨立路線。）
5. Anderson, B. D. O. Reverse-time Diffusion Equation Models. Stochastic Processes and their Applications 12(3), 1982.（連續狀態的時間反轉。）
6. Ou, J., Nie, S., Xue, K., Zhu, F., Sun, J., Li, Z., Li, C. Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data. ICLR 2025.（absorbing 鏈上比值與 $x_0$-posterior 的關係。）
7. Sahoo, S. S. et al. Simple and Effective Masked Diffusion Language Models. NeurIPS 2024.（SEDD 與 masked cross-entropy 的對照。）
8. Lai, C.-H., Song, Y., Kim, D., Mitsufuji, Y., Ermon, S. The Principles of Diffusion Models. 2025, Section 6.1.（把 KL／score／速度三個版本的 conditional trick 並排，本篇那張表的出處。）