Probability Path:分布之間可以有一條路
把鏡頭從個別粒子拉高到整條分布的演化。
第一次讀 diffusion 或 flow matching 的公式時,常會在某一行卡住:式子裡突然冒出一個帶下標的 ,而且 還是連續的——也就是說,這不是一個分布,而是一整族分布。你可能會想:這些中間的分布是哪來的?是真有一批「半噪聲半資料」的樣本嗎?
公式裡突然多出一整族分布
不是憑空出現的記號。它是一條機率路徑(probability path)——把 noise 分布平滑連到 data 分布的「分布之路」。看懂它,後面很多公式就不再像魔術。
最重要的圖像
起點和終點像兩張照片;probability path 關心的是中間那段影片怎麼拍。
(noise)和 (data)是頭尾兩幀; 就是影片中間的每一幀。生成模型在乎的,不只是頭尾長怎樣,而是這支影片的每一格怎麼從圓形點雲漸變成資料的形狀。
先在 2D 裡看看
把一團圓形高斯點雲變成月牙形,中間可以有無數種拍法:可以平滑均勻地推過去,可以先擠成一條線再展開,也可以繞遠路。每一種拍法,對應一串不同的中間幀 。
下面的 demo 讓你看見這支影片:拖 ,看密度形狀如何從高斯漸變到目標;切換不同插值方式,看同樣的頭尾可以拍出不同的中間。
如果你已經注意到「兩端不變、中間會變」,那你已經摸到 Diffusion & Flow Models 課程 裡 path design 和 rectified flow 的門把了——它們做的,正是挑一條更好拍的影片。
把圖像翻成數學
一條 probability path 是一族以 參數化的機率分布
要求它對 夠平滑地變化。它和上一篇的向量場是配對的:若粒子照 移動、起點分布是 ,那粒子在時刻 的分布就是某個確定的 。「向量場 」生成「機率路徑 」——這個對應的嚴格寫法(continuity equation)收在 Diffusion & Flow Models 課程。
flow matching 常見的設計,是先指定一條「條件路徑」再混合。例如給定一筆資料 ,把它和噪聲 用直線相連:
對所有 取平均,就得到一條邊際的 probability path 。diffusion 則用加噪定義路徑: 給出的 ,是資料分布被逐漸抹平、最後趨近高斯的那條路。兩者是不同的 設計,但都是同一個概念。
讀到這裡,先別急著這樣想
最容易誤會的一點是:把 當成資料集裡真的存在的「中間資料」。先用一題確認:
換句話說: 不是自然界裡本來就有的一批中間資料,而是我們為了讓生成變得可學,刻意設計出來的一段過渡過程。它也不必是確定性流動——diffusion 的前向過程是隨機的(SDE),但它在每個 仍定義了一個邊際 ;同一條 ,可由隨機 SDE 或確定 ODE 實現(這是 probability flow ODE 的核心,收在 Diffusion & Flow Models 課程)。
為什麼研究者在乎?
probability path 是 diffusion 與 flow matching 的共同骨架。diffusion 用「加噪 schedule」隱含地定義一條路;flow matching 則常先明確指定一條路(直線、optimal-transport 路徑……),再去學讓樣本沿這條路移動的速度場。noise schedule、rectified flow、Schrödinger bridge 等研究,本質上都在問同一個問題:哪一條分布路徑,最好學、又最好取樣? 把這條路選得好,後面的訓練與取樣都會跟著變簡單;選得差,則處處卡關。
下一步
有了「分布之間可以有一條路」這個畫面,下一個問題是:模型在這條路上的每一步,到底要學什麼、又怎麼學?下一篇 Denoising:生成可以被看成局部修復 給出第一種具體的局部訊號——去噪。
參考文獻
- Lipman, Y., et al. Flow Matching for Generative Modeling. ICLR 2023.
- Albergo, M. S., Vanden-Eijnden, E. Building Normalizing Flows with Stochastic Interpolants. ICLR 2023.
- Ho, J., Jain, A., Abbeel, P. Denoising Diffusion Probabilistic Models. NeurIPS 2020.