Diffusion Models and Their Applications

1. U1 Diffusion Models 0 / 6 從「生成在學什麼」出發：forward process、denoising 回歸、Tweedie 與 score、DDPM / DDIM / SDE-ODE 反向取樣。

   1. U1.0 生成到底在學什麼？
   2. U1.1 指定路徑的方法：Forward Process
   3. U1.2 Denoising：倒著走一步，要怎麼學？
   4. U1.3 Tweedie 公式：Denoiser 和 Data Distribution 有什麼關係？
   5. U1.4 從離散步驟到 Forward / Reverse Dynamics
   6. U1.5 實作：建立這個單元的 Toy LAB

   這個單元用到的工具

   L0.0 從例子學規則 L0.1 損失函數是一種宣告 L0.3 梯度下降的一頁 L1.0 過擬合與欠擬合 L1.1 Bias 與 Variance L1.2 為什麼要切資料 L2.0 小批次與噪聲 L2.1 動量與 Adam 各買到什麼 L4.0 什麼都能擬合，那為什麼還需要別的架構？ L4.5 同一台機器要依指令做不同的事，指令從哪裡餵進去？ L5.0 要怎麼替「這個模型有多符合資料」打一個分數？ L5.1 當那個要加總的量算不出來，可以退到哪裡？ L5.3 一個生成模型好不好，該用哪一個數字回答？ M0.3 全導數、微分穿過積分與 JVP M1.0 Gaussian 的線性組合 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.3 Bayes 與 Posterior M1.4 去噪就是取 Posterior Mean（Tweedie） M2.2 Continuity Equation M2.3 Euler 法與它的誤差 M3.0 Random Walk 到 Brownian Motion M3.1 SDE 是加了噪聲的 ODE M3.2 Fokker–Planck 方程式 M3.3 Langevin Dynamics 與 Stationary Distribution M4.0 Markov Chain 與 Transition Matrix M5.1 KL Divergence 與 Cross-Entropy
2. U2 Flow Matching 0 / 6 從 reference paths 出發，講解 velocity regression 的理論及直觀解釋，介紹 continuity equation 及其直覺含意，並以 DDIM 作為 Flow Matching 與 diffusion model 的橋樑，再推廣到 stochastic interpolants，以及共享相同 marginals 的 ODE／SDE sampler family。

   1. U2.0 Forward Process 是必要的嗎？
   2. U2.1 沿著人潮學會怎麼走
   3. U2.2 平均人潮為什麼能搬動整個分布？
   4. U2.3 Gaussian 起點：DDIM 與 Flow Matching 的交集
   5. U2.4 Stochastic Interpolant: 統一 Flow 與 Diffusion
   6. U2.5 實作：從 reference path 到 Flow ODE LAB

   這個單元用到的工具

   M0.1 Divergence 與通量 M1.0 Gaussian 的線性組合 M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.2 Continuity Equation M2.3 Euler 法與它的誤差 M5.1 KL Divergence 與 Cross-Entropy M6.1 W₂ 距離
3. U3 減少 ODE 的離散化誤差 0 / 6 ODE 的離散化誤差從哪裡來？先把沿途的 velocity 變化連到 finite-step error，再走兩條路：用 reflow 或 minibatch OT 改變 learned trajectories，或換一個 numerical solver，讓同樣的計算預算得到更準確的近似。

   1. U3.0 每一條參考路徑都是直線，為什麼學出來的 ODE trajectory 卻是彎的？
   2. U3.1 Euler 漏掉的 velocity 變化，要怎麼量？
   3. U3.2 拉直（一）：Reflow
   4. U3.3 拉直（二）：不依靠反覆訓練，能不能用別的方法決定好的 coupling？
   5. U3.4 少看幾次方向，還能走得準嗎？
   6. U3.5 實作：換了資料與模型，前面的方法還能沿用嗎？ LAB

   這個單元用到的工具

   M0.2 Taylor 展開與「假設直線」 M1.1 Conditional Expectation M2.0 Vector Field 與 ODE M2.3 Euler 法與它的誤差 M2.4 高階方法 M3.4 Weak 與 Strong Convergence M5.0 Convex Function 與 Jensen 不等式 M6.0 Monge、Kantorovich 與 Coupling M6.1 W₂ 距離 M6.2 一維的單調性與 Brenier M6.3 Sinkhorn 與 Minibatch 近似
4. U4 Discrete Diffusion 0 / 8 從離散資料的 joint PMF 與 probability interpolation 出發，問能否像 Flow Matching 一樣學 velocity；以跳躍 rate、機率守恆與 posterior averaging 建立訓練和生成，再檢查平行填字與 remasking。兩次實作分開量出因子化、時間近似與模型誤差。

   1. U4.0 資料是 Token 的時候，噪聲是什麼？
   2. U4.1 有了 PMF path，能不能像 Flow Matching 一樣學 velocity？
   3. U4.2 不知道原句，怎麼學到推動 PMF 的規則？
   4. U4.3 有了模型，要怎麼一步步抽出句子？
   5. U4.4 每格都猜對，整句話就會對嗎？
   6. U4.5 填錯的字，可以再改而不改變目標分布嗎？
   7. U4.6 實作 A：每格機率都對，整串還會錯嗎？ LAB
   8. U4.7 實作 B：步長與重新遮蔽會改變什麼？ LAB

   這個單元用到的工具

   L5.2 一個高維的機率，能不能拆成一串一維的機率？ M1.1 Conditional Expectation M1.3 Bayes 與 Posterior M2.2 Continuity Equation M3.2 Fokker–Planck 方程式 M4.0 Markov Chain 與 Transition Matrix M4.1 Absorbing State 與吸收時間 M4.2 Continuous-Time Markov Chain 與 Rate Matrix M4.3 Time Reversal 與比值 M5.1 KL Divergence 與 Cross-Entropy
5. U5 Consistency Models 0 / 7 能不能直接學「一步」？progressive distillation、consistency function 與自我一致性、CD 與 CT、iCT / sCM 各對付哪個誤差，以及多步 CM 為什麼很快飽和。

   1. U5.0 一步去噪，為什麼還不是一步生成？
   2. U5.1 能不能先把兩小步，學成一大步？
   3. U5.2 同一條路上的不同位置，能不能認出同一個終點？
   4. U5.3 沒有 teacher，怎麼找到同一條路上的相鄰點？
   5. U5.4 相鄰點越來越近，訓練該怎麼繼續？
   6. U5.5 再跳一次，真的等於把同一條路切細嗎？
   7. U5.6 實作：先有解析答案，再檢查 CD 與 CT 學到了什麼 LAB

   這個單元用到的工具

   L0.1 損失函數是一種宣告 L2.2 目標由自己產生的時候 M0.2 Taylor 展開與「假設直線」 M0.3 全導數、微分穿過積分與 JVP M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.1 Flow Map 與 Pushforward M2.3 Euler 法與它的誤差 M5.2 移動目標、EMA 與 Stop-Gradient M6.1 W₂ 距離
6. U6 Consistency Trajectory Model and Flow Map 0 / 7 從 CTM 首先提出的任意 t→s 跳躍出發，再把它整理成 flow map：四個條件、Flow Map Matching 的三種損失、MeanFlow identity、Shortcut / AYF，以及回歸式與分佈匹配式（DMD）蒸餾的失敗模式。

   1. U6.0 能不能沿同一條路，直接跳到指定的中途？
   2. U6.1 改變出發時間或抵達時間，終點會怎麼變？
   3. U6.2 知道整段平均速度，能不能直接算出終點？
   4. U6.3 不算導數，能不能用兩個小跳教一個大跳？
   5. U6.4 一定要對準同一個終點，才算學會生成嗎？
   6. U6.5 讀到一個一步生成方法，先檢查哪幾件事？
   7. U6.6 實作：MeanFlow 的導數、落點與半群，要分開檢查 LAB

   這個單元用到的工具

   M0.3 全導數、微分穿過積分與 JVP M1.1 Conditional Expectation M1.2 MSE 的最小值是 Conditional Expectation M1.4 去噪就是取 Posterior Mean（Tweedie） M2.0 Vector Field 與 ODE M2.1 Flow Map 與 Pushforward M2.3 Euler 法與它的誤差 M5.1 KL Divergence 與 Cross-Entropy M5.3 對 Generator 微分 M6.1 W₂ 距離
7. U7 Test-time Guidance 0 / 6 模型訓練好之後，如何在 sampling 時加入新的 condition、observation 或 reward？從 classifier guidance、CFG 與 reward tilting，走到 black-box rewards 的 Best-of-N、Feynman–Kac／SMC、SPT，以及 inverse problems、data assimilation、planning 與 scientific design。

   1. U7.0 模型已經訓練好，現在才知道想要什麼，還來得及嗎？
   2. U7.1 不重新訓練，怎麼取得這次要求的引導方向？
   3. U7.2 既要像資料，又要 reward 高：我們真正想抽哪個 distribution？
   4. U7.3 Reward 只會打分、不會給方向，還能怎麼引導？
   5. U7.4 當 reward 變成觀測、目標與限制，我們到底在抽什麼？
   6. U7.5 實作：同一個 base distribution，能被 guidance 帶到哪裡？ LAB

   這個單元用到的工具

   M1.3 Bayes 與 Posterior M3.3 Langevin Dynamics 與 Stationary Distribution M4.0 Markov Chain 與 Transition Matrix M5.1 KL Divergence 與 Cross-Entropy

亮起來的是這台瀏覽器讀過的篇；這筆紀錄只留在你的裝置上。 清除紀錄