Shih-Hsin Wang 王士欣
中文

Diffusion Models and Their Applications

Starting from diffusion models and flow matching, extending to discrete generation, one-step generative models, and applications across science and engineering.

7 units 46 notes Read 0 / 46 Sep 2026
  1. U1 Diffusion Models 0 / 6 From "what does generation learn" to the forward process, denoising regression, Tweedie & score, and DDPM / DDIM / SDE-ODE sampling.
    1. U1.0 生成到底在學什麼？
    2. U1.1 指定路徑的方法：Forward Process
    3. U1.2 訓練目標：去噪回歸
    4. U1.3 Tweedie 公式：去噪器就是 Score
    5. U1.4 反向：DDPM、DDIM 與 SDE/ODE
    6. U1.5 實作：建立這一週的 Toy LAB
    Tools this unit uses
    L0.0 從例子學規則 L0.1 損失函數是一種宣告 L0.3 梯度下降的一頁 L1.0 過擬合與欠擬合 L1.1 Bias 與 Variance L1.2 為什麼要切資料 L2.0 小批次與噪聲 L2.1 動量與 Adam 各買到什麼 L4.0 什麼都能擬合，那為什麼還需要別的架構？ L4.5 同一台機器要依指令做不同的事，指令從哪裡餵進去？ L5.0 要怎麼替「這個模型有多符合資料」打一個分數？ L5.3 一個生成模型好不好，該用哪一個數字回答？ M0.3 全導數、微分穿過積分與 JVP M1.0 Gaussian 的線性組合 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.3 Bayes 與 Posterior M1.4 去噪就是取 Posterior Mean（Tweedie） M2.2 Continuity Equation M2.3 Euler 法與它的誤差 M3.0 Random Walk 到 Brownian Motion M3.1 SDE 是加了噪聲的 ODE M3.2 Fokker–Planck 方程式 M3.3 Langevin Dynamics 與 Stationary Distribution M4.0 Markov Chain 與 Transition Matrix M5.1 KL Divergence 與 Cross-Entropy
  2. U2 Flow Matching 0 / 6 Is a forward process necessary? Flows and the continuity equation, conditional flow matching, linear paths, and FM vs. diffusion.
    1. U2.0 Forward Process 是必要的嗎？
    2. U2.1 Flow 與 Continuity Equation
    3. U2.2 條件到邊際：Conditional Flow Matching
    4. U2.3 直線插值：條件直，邊際不直
    5. U2.4 Flow Matching 與 Diffusion：同與異
    6. U2.5 實作：同一個 Toy，換一個目標 LAB
    Tools this unit uses
    M0.1 Divergence 與通量 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.1 Flow Map 與 Pushforward M2.2 Continuity Equation M2.3 Euler 法與它的誤差
  3. U3 Stochastic Interpolants 與共用技巧 0 / 7 One equation for both frameworks: a family of SDE samplers, curvature and error theory, rectified flow, minibatch OT, and shared techniques.
    1. U3.0 一個式子裝下兩個框架
    2. U3.1 一族取樣器：從 ODE 到 SDE
    3. U3.2 誤差理論：曲率積分壓住偏差
    4. U3.3 拉直（一）：Rectified Flow 與 Reflow
    5. U3.4 拉直（二）：Minibatch OT 配對
    6. U3.5 共用技巧：Guidance、高階 Solver、時間加權
    7. U3.6 實作：把曲率積分畫成一條線 LAB
    Tools this unit uses
    M0.2 Taylor 展開與「假設直線」 M1.0 Gaussian 的線性組合 M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.2 Continuity Equation M2.3 Euler 法與它的誤差 M2.4 高階方法 M3.1 SDE 是加了噪聲的 ODE M3.2 Fokker–Planck 方程式 M3.3 Langevin Dynamics 與 Stationary Distribution M3.4 Weak 與 Strong Convergence M5.0 Convex Function 與 Jensen 不等式 M5.1 KL Divergence 與 Cross-Entropy M6.0 Monge、Kantorovich 與 Coupling M6.1 W₂ 距離 M6.2 一維的單調性與 Brenier M6.3 Sinkhorn 與 Minibatch 近似
  4. U4 Discrete Diffusion I 0 / 6 How to "add noise" to tokens: discrete states, not discrete time; D3PM transition matrices, masked diffusion as weighted cross-entropy, and factorization error as the discrete analogue of curvature.
    1. U4.0 資料是 Token 的時候，噪聲是什麼？
    2. U4.1 D3PM：Transition Matrix、Closed Form 與 x₀-Parametrization
    3. U4.2 Masked Diffusion：ELBO 塌成加權的 Cross-Entropy
    4. U4.3 因子化誤差：離散世界的曲率
    5. U4.4 Absorbing 與 Uniform：翻錯的字能不能改？
    6. U4.5 實作：Parity 與 Markov Toy 上的 Masked Diffusion LAB
    Tools this unit uses
    M1.1 Conditional Expectation M1.3 Bayes 與 Posterior M3.3 Langevin Dynamics 與 Stationary Distribution M4.0 Markov Chain 與 Transition Matrix M4.1 Absorbing State 與吸收時間 M5.1 KL Divergence 與 Cross-Entropy
  5. U5 Discrete Diffusion II 0 / 7 The language of continuous-time Markov chains: rates and the forward equation beside Fokker–Planck; reverse rates need ratios (concrete score); remasking as a sampler knob; discrete flow matching and applications.
    1. U5.0 要把「改」說清楚，需要什麼語言？
    2. U5.1 CTMC：Rate Matrix 與 Forward Equation
    3. U5.2 反向 Rate 與 Concrete Score
    4. U5.3 Remasking：取樣器多一條管子
    5. U5.4 Discrete Flow Matching：條件路徑、Rate 與配對
    6. U5.5 應用：語言模型、蛋白質序列、圖
    7. U5.6 實作：τ-leaping、Remasking 與比值學習 LAB
    Tools this unit uses
    M1.1 Conditional Expectation M1.3 Bayes 與 Posterior M2.2 Continuity Equation M3.2 Fokker–Planck 方程式 M3.3 Langevin Dynamics 與 Stationary Distribution M4.0 Markov Chain 與 Transition Matrix M4.1 Absorbing State 與吸收時間 M4.2 Continuous-Time Markov Chain 與 Rate Matrix M4.3 Time Reversal 與比值 M5.1 KL Divergence 與 Cross-Entropy
  6. U6 Consistency Models 0 / 7 Can we learn the one-step map directly? Progressive distillation, the consistency function and self-consistency, CD vs. CT, which error each iCT / sCM trick fights, and why multistep CM saturates.
    1. U6.0 不走了，直接學那一步
    2. U6.1 Progressive Distillation：學生一步，等於老師兩步
    3. U6.2 Consistency Function：同一條軌跡，同一個終點
    4. U6.3 Consistency Distillation 與 Consistency Training：沒有老師，憑什麼？
    5. U6.4 讓 CT 訓得起來：iCT 與連續時間的 sCM
    6. U6.5 多步 CM 的極限：每一步都得回到 x₀
    7. U6.6 實作：三種「一步」放在同一張圖上 LAB
    Tools this unit uses
    M0.2 Taylor 展開與「假設直線」 M0.3 全導數、微分穿過積分與 JVP M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.1 Flow Map 與 Pushforward M2.3 Euler 法與它的誤差 M5.2 移動目標、EMA 與 Stop-Gradient M6.1 W₂ 距離
  7. U7 Flow Maps 與分佈匹配 0 / 7 Jumping from t straight to s: the four conditions of a flow map, the three flow-map-matching losses, the MeanFlow identity, Shortcut / AYF, and the failure modes of regression vs. distribution-matching (DMD) distillation.
    1. U7.0 不回到終點，能不能直接跳到中間？
    2. U7.1 Flow Map Matching：三條恆等式，三種損失
    3. U7.2 MeanFlow：平均速度與一條精確的恆等式
    4. U7.3 Shortcut 與 Align Your Flow：同一張表的其他格子
    5. U7.4 另一條路：分佈匹配
    6. U7.5 統一表與選擇指南
    7. U7.6 實作：MeanFlow、半群檢查，與交叉問題的最終回收 LAB
    Tools this unit uses
    M0.3 全導數、微分穿過積分與 JVP M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.1 Flow Map 與 Pushforward M2.3 Euler 法與它的誤差 M5.1 KL Divergence 與 Cross-Entropy M5.3 對 Generator 微分 M6.1 W₂ 距離

Lit notes are what this browser has read; the record stays on this device.