← 返回筆記

研究領域 / Flow-Based Generative Models / From Noise to Data / 2026年6月

Probability Path:分布之間可以有一條路

可閱讀 5 分鐘閱讀

把鏡頭從個別粒子拉高到整條分布的演化。

第一次讀 diffusion 或 flow matching 的公式時,常會在某一行卡住:式子裡突然冒出一個帶下標的 ptp_t,而且 tt 還是連續的——也就是說,這不是一個分布,而是一整族分布。你可能會想:這些中間的分布是哪來的?是真有一批「半噪聲半資料」的樣本嗎?

公式裡突然多出一整族分布

ptp_t 不是憑空出現的記號。它是一條機率路徑(probability path)——把 noise 分布平滑連到 data 分布的「分布之路」。看懂它,後面很多公式就不再像魔術。

最重要的圖像

起點和終點像兩張照片;probability path 關心的是中間那段影片怎麼拍。

p0p_0(noise)和 p1p_1(data)是頭尾兩幀;ptp_t 就是影片中間的每一幀。生成模型在乎的,不只是頭尾長怎樣,而是這支影片的每一格怎麼從圓形點雲漸變成資料的形狀。

先在 2D 裡看看

把一團圓形高斯點雲變成月牙形,中間可以有無數種拍法:可以平滑均勻地推過去,可以先擠成一條線再展開,也可以繞遠路。每一種拍法,對應一串不同的中間幀 ptp_t

下面的 demo 讓你看見這支影片:拖 tt,看密度形狀如何從高斯漸變到目標;切換不同插值方式,看同樣的頭尾可以拍出不同的中間

如果你已經注意到「兩端不變、中間會變」,那你已經摸到 Diffusion & Flow Models 課程 裡 path design 和 rectified flow 的門把了——它們做的,正是挑一條更好拍的影片。

把圖像翻成數學

一條 probability path 是一族以 tt 參數化的機率分布

{pt}t[0,1],p0=pnoise,p1=pdata,\{ p_t \}_{t \in [0,1]}, \qquad p_0 = p_{\text{noise}}, \quad p_1 = p_{\text{data}},

要求它對 tt 夠平滑地變化。它和上一篇的向量場是配對的:若粒子照 dxdt=vt(x)\frac{dx}{dt}=v_t(x) 移動、起點分布是 p0p_0,那粒子在時刻 tt 的分布就是某個確定的 ptp_t。「向量場 vtv_t」生成「機率路徑 ptp_t」——這個對應的嚴格寫法(continuity equation)收在 Diffusion & Flow Models 課程

flow matching 常見的設計,是先指定一條「條件路徑」再混合。例如給定一筆資料 x1x_1,把它和噪聲 x0x_0 用直線相連:

xt=(1t)x0+tx1,x0N(0,I),x_t = (1-t)\, x_0 + t\, x_1, \qquad x_0 \sim \mathcal{N}(0,I),

對所有 (x0,x1)(x_0, x_1) 取平均,就得到一條邊際的 probability path ptp_t。diffusion 則用加噪定義路徑:xt=αtx0+σtϵx_t = \alpha_t x_0 + \sigma_t \epsilon 給出的 ptp_t,是資料分布被逐漸抹平、最後趨近高斯的那條路。兩者是不同的 ptp_t 設計,但都是同一個概念。

讀到這裡,先別急著這樣想

最容易誤會的一點是:把 ptp_t 當成資料集裡真的存在的「中間資料」。先用一題確認:

想一想中間那些分布 p_t,對應到資料集裡真實存在的「半噪聲半資料」樣本嗎?

想一想固定了起點 p₀ 和終點 p₁ 之後,中間的 probability path 是唯一被決定的嗎?

換句話說:ptp_t 不是自然界裡本來就有的一批中間資料,而是我們為了讓生成變得可學,刻意設計出來的一段過渡過程。它也不必是確定性流動——diffusion 的前向過程是隨機的(SDE),但它在每個 tt 仍定義了一個邊際 ptp_t;同一條 ptp_t,可由隨機 SDE 或確定 ODE 實現(這是 probability flow ODE 的核心,收在 Diffusion & Flow Models 課程)。

為什麼研究者在乎?

probability path 是 diffusion 與 flow matching 的共同骨架。diffusion 用「加噪 schedule」隱含地定義一條路;flow matching 則常先明確指定一條路(直線、optimal-transport 路徑……),再去學讓樣本沿這條路移動的速度場。noise schedule、rectified flow、Schrödinger bridge 等研究,本質上都在問同一個問題:哪一條分布路徑,最好學、又最好取樣? 把這條路選得好,後面的訓練與取樣都會跟著變簡單;選得差,則處處卡關。

下一步

有了「分布之間可以有一條路」這個畫面,下一個問題是:模型在這條路上的每一步,到底要學什麼、又怎麼學?下一篇 Denoising:生成可以被看成局部修復 給出第一種具體的局部訊號——去噪。

參考文獻

  1. Lipman, Y., et al. Flow Matching for Generative Modeling. ICLR 2023.
  2. Albergo, M. S., Vanden-Eijnden, E. Building Normalizing Flows with Stochastic Interpolants. ICLR 2023.
  3. Ho, J., Jain, A., Abbeel, P. Denoising Diffusion Probabilistic Models. NeurIPS 2020.