Notes & Guides

這是一片可以探索的知識世界:腳下是數學構築的陸地,眼前是機器學習的海洋;再抬頭望去,則是一門門課程組成的星空。

每一顆星,都是一篇筆記;每讀完一篇,就點亮一顆星。從一顆星開始,慢慢點亮屬於你的星空吧!

U1.0 生成到底在學什麼? U1.1 指定路徑的方法:Forward Process U1.2 Denoising:倒著走一步,要怎麼學? U1.3 Tweedie 公式:Denoiser 和 Data Distribution 有什麼關係? U1.4 反向:DDPM、DDIM 與 SDE/ODE U1.5 實作:建立這個單元的 Toy U1 Diffusion Models U2.0 Forward Process 是必要的嗎? U2.1 速度場怎麼推動一整個分布? U2.2 先配對,再平均:Conditional Flow Matching U2.3 代入最簡單的一條路:直線插值 U2.4 把 Flow Matching 和 Diffusion 放在一起看 U2.5 實作:同一個 toy,只換訓練目標 U2 Flow Matching U3.0 一個式子裝下前面兩個單元 U3.1 取樣器不只一個,是一整族 U3.2 把「彎」寫成一個算得出來的數 U3.3 拉直(一):讓模型自己生出配對 U3.4 拉直(二):在每個 batch 裡解一次配對 U3.5 共用技巧:guidance、高階 solver、時間加權 U3.6 實作:把曲率積分畫成一條線 U3 Stochastic Interpolants 與共用技巧 U4.0 資料是 Token 的時候,噪聲是什麼? U4.1 D3PM:Transition Matrix、Closed Form 與 x₀-Parametrization U4.2 Masked Diffusion:ELBO 塌成加權的 Cross-Entropy U4.3 因子化誤差:離散世界的曲率 U4.4 Absorbing 與 Uniform:翻錯的字能不能改? U4.5 實作:Parity 與 Markov Toy 上的 Masked Diffusion U4 Discrete Diffusion I U5.0 要把「改」說清楚,需要什麼語言? U5.1 CTMC:Rate Matrix 與 Forward Equation U5.2 反向 Rate 與 Concrete Score U5.3 Remasking:取樣器多一條管子 U5.4 Discrete Flow Matching:條件路徑、Rate 與配對 U5.5 應用:語言模型、蛋白質序列、圖 U5.6 實作:τ-leaping、Remasking 與比值學習 U5 Discrete Diffusion II U6.0 不走了,直接學那一步 U6.1 Progressive Distillation:學生一步,等於老師兩步 U6.2 Consistency Function:同一條軌跡,同一個終點 U6.3 Consistency Distillation 與 Consistency Training:沒有老師,憑什麼? U6.4 讓 CT 訓得起來:iCT 與連續時間的 sCM U6.5 多步 CM 的極限:每一步都得回到 x₀ U6.6 實作:三種「一步」放在同一張圖上 U6 Consistency Models U7.0 不回到終點,能不能直接跳到中間? U7.1 Flow Map Matching:三條恆等式,三種損失 U7.2 MeanFlow:平均速度與一條精確的恆等式 U7.3 Shortcut 與 Align Your Flow:同一張表的其他格子 U7.4 另一條路:分佈匹配 U7.5 統一表與選擇指南 U7.6 實作:MeanFlow、半群檢查,與交叉問題的最終回收 U7 Flow Maps 與分佈匹配 L0 · 學習就是擬合 L0 L1 · 泛化:過擬合、欠擬合與資料切分 L1 L2 · 實務中的最佳化 L2 L3 · 實驗方法與超參數搜尋 L3 L4 · 常見架構:結構對應歸納偏置 L4 L5 · 機率建模與生成模型的評估 L5 MACHINE LEARNING FOUNDATIONS · 海 M0 · Calculus 工具箱 M0 M1 · 機率與 Conditional Expectation M1 M2 · Deterministic Dynamics M2 M3 · Stochastic Dynamics M3 M4 · Markov Chains M4 M5 · Optimization、Convexity 與距離 M5 M6 · Optimal Transport M6 MATHEMATICAL FOUNDATIONS · 陸
已讀 未讀 先備知識(將游標移到星星上查看) 紀錄只留在這台裝置

Search

Search the static site index.

    課程

    研究領域

    Geometric Deep Learning
    Invariance and Equivariance geometric deep learning:把對稱性(invariance / equivariance)寫進模型。 7 篇 · Updated 2026年6月

    學術技能

    Paper Writing 學術論文寫作技巧。 1 篇 · Updated 2026年4月
    Website & Tooling 學術網站與研究工具的搭建方式,可以直接複製去用。 1 篇 · Updated 2026年8月