Shih-Hsin Wang 王士欣
EN

Diffusion Models and Their Applications

從 Diffusion Models 與 Flow Matching 出發，延伸至離散生成、one-step generative models，以及科學與工程上的應用場景。

7 個單元 46 篇 已讀 0 / 46 2026年9月
  1. U1 Diffusion Models 0 / 6 從「生成在學什麼」出發：forward process、denoising 回歸、Tweedie 與 score、DDPM / DDIM / SDE-ODE 反向取樣。
    1. U1.0 生成到底在學什麼？
    2. U1.1 指定路徑的方法：Forward Process
    3. U1.2 Denoising：倒著走一步，要怎麼學？
    4. U1.3 Tweedie 公式：Denoiser 和 Data Distribution 有什麼關係？
    5. U1.4 反向：DDPM、DDIM 與 SDE/ODE
    6. U1.5 實作：建立這個單元的 Toy LAB
    這個單元用到的工具
    L0.0 從例子學規則 L0.1 損失函數是一種宣告 L0.3 梯度下降的一頁 L1.0 過擬合與欠擬合 L1.1 Bias 與 Variance L1.2 為什麼要切資料 L2.0 小批次與噪聲 L2.1 動量與 Adam 各買到什麼 L4.0 什麼都能擬合，那為什麼還需要別的架構？ L4.5 同一台機器要依指令做不同的事，指令從哪裡餵進去？ L5.0 要怎麼替「這個模型有多符合資料」打一個分數？ L5.3 一個生成模型好不好，該用哪一個數字回答？ M0.3 全導數、微分穿過積分與 JVP M1.0 Gaussian 的線性組合 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.3 Bayes 與 Posterior M1.4 去噪就是取 Posterior Mean（Tweedie） M2.2 Continuity Equation M2.3 Euler 法與它的誤差 M3.0 Random Walk 到 Brownian Motion M3.1 SDE 是加了噪聲的 ODE M3.2 Fokker–Planck 方程式 M3.3 Langevin Dynamics 與 Stationary Distribution M4.0 Markov Chain 與 Transition Matrix M5.1 KL Divergence 與 Cross-Entropy
  2. U2 Flow Matching 0 / 6 forward process 是必要的嗎？flow 與 continuity equation、conditional flow matching、直線路徑，以及 FM 與 diffusion 的同與異。
    1. U2.0 Forward Process 是必要的嗎？
    2. U2.1 速度場怎麼推動一整個分布？
    3. U2.2 先配對，再平均：Conditional Flow Matching
    4. U2.3 代入最簡單的一條路：直線插值
    5. U2.4 把 Flow Matching 和 Diffusion 放在一起看
    6. U2.5 實作：同一個 toy，只換訓練目標 LAB
    這個單元用到的工具
    M0.1 Divergence 與通量 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.1 Flow Map 與 Pushforward M2.2 Continuity Equation M2.3 Euler 法與它的誤差
  3. U3 Stochastic Interpolants 與共用技巧 0 / 7 一個式子裝下兩個框架：一族 SDE 取樣器、曲率與誤差理論、rectified flow、minibatch OT，以及 guidance / 高階 solver / 時間加權。
    1. U3.0 一個式子裝下前面兩個單元
    2. U3.1 取樣器不只一個，是一整族
    3. U3.2 把「彎」寫成一個算得出來的數
    4. U3.3 拉直（一）：讓模型自己生出配對
    5. U3.4 拉直（二）：在每個 batch 裡解一次配對
    6. U3.5 共用技巧：guidance、高階 solver、時間加權
    7. U3.6 實作：把曲率積分畫成一條線 LAB
    這個單元用到的工具
    M0.2 Taylor 展開與「假設直線」 M1.0 Gaussian 的線性組合 M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.2 Continuity Equation M2.3 Euler 法與它的誤差 M2.4 高階方法 M3.1 SDE 是加了噪聲的 ODE M3.2 Fokker–Planck 方程式 M3.3 Langevin Dynamics 與 Stationary Distribution M3.4 Weak 與 Strong Convergence M5.0 Convex Function 與 Jensen 不等式 M5.1 KL Divergence 與 Cross-Entropy M6.0 Monge、Kantorovich 與 Coupling M6.1 W₂ 距離 M6.2 一維的單調性與 Brenier M6.3 Sinkhorn 與 Minibatch 近似
  4. U4 Discrete Diffusion I 0 / 6 資料是 token 時怎麼「加噪聲」？離散是狀態不是時間；D3PM 的轉移矩陣、masked diffusion 塌成加權 cross-entropy、因子化誤差是離散版的曲率。
    1. U4.0 資料是 Token 的時候，噪聲是什麼？
    2. U4.1 D3PM：Transition Matrix、Closed Form 與 x₀-Parametrization
    3. U4.2 Masked Diffusion：ELBO 塌成加權的 Cross-Entropy
    4. U4.3 因子化誤差：離散世界的曲率
    5. U4.4 Absorbing 與 Uniform：翻錯的字能不能改？
    6. U4.5 實作：Parity 與 Markov Toy 上的 Masked Diffusion LAB
    這個單元用到的工具
    M1.1 Conditional Expectation M1.3 Bayes 與 Posterior M3.3 Langevin Dynamics 與 Stationary Distribution M4.0 Markov Chain 與 Transition Matrix M4.1 Absorbing State 與吸收時間 M5.1 KL Divergence 與 Cross-Entropy
  5. U5 Discrete Diffusion II 0 / 7 連續時間 Markov chain 的語言：rate、forward equation 與 Fokker–Planck 並排；反向 rate 需要的是比值（concrete score）；remasking 是取樣器旋鈕；discrete flow matching 與應用。
    1. U5.0 要把「改」說清楚，需要什麼語言？
    2. U5.1 CTMC：Rate Matrix 與 Forward Equation
    3. U5.2 反向 Rate 與 Concrete Score
    4. U5.3 Remasking：取樣器多一條管子
    5. U5.4 Discrete Flow Matching：條件路徑、Rate 與配對
    6. U5.5 應用：語言模型、蛋白質序列、圖
    7. U5.6 實作：τ-leaping、Remasking 與比值學習 LAB
    這個單元用到的工具
    M1.1 Conditional Expectation M1.3 Bayes 與 Posterior M2.2 Continuity Equation M3.2 Fokker–Planck 方程式 M3.3 Langevin Dynamics 與 Stationary Distribution M4.0 Markov Chain 與 Transition Matrix M4.1 Absorbing State 與吸收時間 M4.2 Continuous-Time Markov Chain 與 Rate Matrix M4.3 Time Reversal 與比值 M5.1 KL Divergence 與 Cross-Entropy
  6. U6 Consistency Models 0 / 7 能不能直接學「一步」？progressive distillation、consistency function 與自我一致性、CD 與 CT、iCT / sCM 各對付哪個誤差，以及多步 CM 為什麼很快飽和。
    1. U6.0 不走了，直接學那一步
    2. U6.1 Progressive Distillation：學生一步，等於老師兩步
    3. U6.2 Consistency Function：同一條軌跡，同一個終點
    4. U6.3 Consistency Distillation 與 Consistency Training：沒有老師，憑什麼？
    5. U6.4 讓 CT 訓得起來：iCT 與連續時間的 sCM
    6. U6.5 多步 CM 的極限：每一步都得回到 x₀
    7. U6.6 實作：三種「一步」放在同一張圖上 LAB
    這個單元用到的工具
    M0.2 Taylor 展開與「假設直線」 M0.3 全導數、微分穿過積分與 JVP M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.1 Flow Map 與 Pushforward M2.3 Euler 法與它的誤差 M5.2 移動目標、EMA 與 Stop-Gradient M6.1 W₂ 距離
  7. U7 Flow Maps 與分佈匹配 0 / 7 從 t 直接跳到 s：flow map 的四個條件、flow map matching 的三種損失、MeanFlow identity 與條件速度代換、Shortcut / AYF，以及回歸式與分佈匹配式（DMD）蒸餾的失敗模式。
    1. U7.0 不回到終點，能不能直接跳到中間？
    2. U7.1 Flow Map Matching：三條恆等式，三種損失
    3. U7.2 MeanFlow：平均速度與一條精確的恆等式
    4. U7.3 Shortcut 與 Align Your Flow：同一張表的其他格子
    5. U7.4 另一條路：分佈匹配
    6. U7.5 統一表與選擇指南
    7. U7.6 實作：MeanFlow、半群檢查，與交叉問題的最終回收 LAB
    這個單元用到的工具
    M0.3 全導數、微分穿過積分與 JVP M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.1 Flow Map 與 Pushforward M2.3 Euler 法與它的誤差 M5.1 KL Divergence 與 Cross-Entropy M5.3 對 Generator 微分 M6.1 W₂ 距離

亮起來的是這台瀏覽器讀過的篇；這筆紀錄只留在你的裝置上。