搜尋課程與筆記

搜尋筆記

輸入主題、關鍵字或單元編號,例如 Flow Matching、U4。

    按 Esc 關閉 · ⌘ / Ctrl K 開啟搜尋

    課程與筆記

    選一門課,從第一篇開始,或展開單元直接找需要的主題。想邊思考邊學,可以前往互動學習。

    地圖模式可以探索筆記之間的關係;讀過的節點會在這個瀏覽器亮起。

    喜歡先想問題、再看解釋? 試試互動學習 →

    搜尋筆記

    輸入主題、關鍵字或單元編號,例如 Flow Matching、U4。

      課程

      Diffusion Models and Their Applications

      這是一片可以探索diffusion model、flow matching和其相關領域的知識世界:腳下是數學構築的陸地,眼前是機器學習的海洋;再抬頭望去,則是一門門課程組成的星空。

      每一顆星,都是一篇筆記;每讀完一篇,就點亮一顆星。從一顆星開始,慢慢點亮屬於你的 DMA 星空吧!

      課程地圖 →
      U1.0 生成到底在學什麼? U1.1 指定路徑的方法:Forward Process U1.2 Denoising:倒著走一步,要怎麼學? U1.3 Tweedie 公式:Denoiser 和 Data Distribution 有什麼關係? U1.4 從離散步驟到 Forward / Reverse Dynamics U1.5 實作:建立這個單元的 Toy U1 Diffusion Models U2.0 Forward Process 是必要的嗎? U2.1 沿著人潮學會怎麼走 U2.2 平均人潮為什麼能搬動整個分布? U2.3 Gaussian 起點:DDIM 與 Flow Matching 的交集 U2.4 Stochastic Interpolant: 統一 Flow 與 Diffusion U2.5 實作:從 reference path 到 Flow ODE U2 Flow Matching U3.0 每一條參考路徑都是直線,為什麼學出來的 ODE trajectory 卻是彎的? U3.1 Euler 漏掉的 velocity 變化,要怎麼量? U3.2 拉直(一):Reflow U3.3 拉直(二):不依靠反覆訓練,能不能用別的方法決定好的 coupling? U3.4 少看幾次方向,還能走得準嗎? U3.5 實作:換了資料與模型,前面的方法還能沿用嗎? U3 減少 ODE 的離散化誤差 U4.0 資料是 Token 的時候,噪聲是什麼? U4.1 有了 PMF path,能不能像 Flow Matching 一樣學 velocity? U4.2 不知道原句,怎麼學到推動 PMF 的規則? U4.3 有了模型,要怎麼一步步抽出句子? U4.4 每格都猜對,整句話就會對嗎? U4.5 填錯的字,可以再改而不改變目標分布嗎? U4.6 實作 A:每格機率都對,整串還會錯嗎? U4.7 實作 B:步長與重新遮蔽會改變什麼? U4 Discrete Diffusion U5.0 一步去噪,為什麼還不是一步生成? U5.1 能不能先把兩小步,學成一大步? U5.2 同一條路上的不同位置,能不能認出同一個終點? U5.3 沒有 teacher,怎麼找到同一條路上的相鄰點? U5.4 相鄰點越來越近,訓練該怎麼繼續? U5.5 再跳一次,真的等於把同一條路切細嗎? U5.6 實作:先有解析答案,再檢查 CD 與 CT 學到了什麼 U5 Consistency Models U6.0 能不能沿同一條路,直接跳到指定的中途? U6.1 改變出發時間或抵達時間,終點會怎麼變? U6.2 知道整段平均速度,能不能直接算出終點? U6.3 不算導數,能不能用兩個小跳教一個大跳? U6.4 一定要對準同一個終點,才算學會生成嗎? U6.5 讀到一個一步生成方法,先檢查哪幾件事? U6.6 實作:MeanFlow 的導數、落點與半群,要分開檢查 U6 Consistency Trajectory Model and Flow Map U7.0 模型已經訓練好,現在才知道想要什麼,還來得及嗎? U7.1 不重新訓練,怎麼取得這次要求的引導方向? U7.2 既要像資料,又要 reward 高:我們真正想抽哪個 distribution? U7.3 Reward 只會打分、不會給方向,還能怎麼引導? U7.4 當 reward 變成觀測、目標與限制,我們到底在抽什麼? U7.5 實作:同一個 base distribution,能被 guidance 帶到哪裡? U7 Test-time Guidance DIFFUSION MODELS AND THEIR APPLICATIONS · 星空 L0 · 學習就是擬合 L0 L1 · 泛化:過擬合、欠擬合與資料切分 L1 L2 · 實務中的最佳化 L2 L3 · 實驗方法與超參數搜尋 L3 L4 · 常見架構:結構對應歸納偏置 L4 L5 · 機率建模與生成模型的評估 L5 MACHINE LEARNING FOUNDATIONS · 海 M0 · Calculus 工具箱 M0 M1 · 機率與 Conditional Expectation M1 M2 · Deterministic Dynamics M2 M3 · Stochastic Dynamics M3 M4 · Markov Chains M4 M5 · Optimization、Convexity 與距離 M5 M6 · Optimal Transport M6 MATHEMATICAL FOUNDATIONS · 陸
      已讀 未讀 ○規劃中的單元 先備知識(將游標移到星星上查看) 紀錄只留在這台裝置

      Geometric Deep Learning

      這是一片可以探索 geometric deep learning 與 symmetry 的知識世界:每一個單元都是一種分子,而那個分子的形狀,隱約的藏著這個單元要講的對稱——不斷重複的長鏈、可以旋轉的環、任意交換也不變的配體,還有照鏡子也疊不回去的手性。

      每一顆原子,都是一篇筆記;每讀完一篇,就點亮一顆原子,讀完一個單元,整個分子就會亮起來。從一顆原子開始,慢慢組出屬於你的 GDL 分子吧!

      滑過單元名稱,分子會表演它的對稱:鏈平移一個單元、兩個配體互換位置、訊息沿著鍵一層層傳進中心、手性分子翻到鏡像。

      課程地圖 →
      聚合物鏈:平移一個重複單元就和自己重合;鏈的兩端就是邊界。G1Symmetry andTranslationG1.0 同一張地圖換個方向,答案應該怎麼變?G1.1 先轉再移,和先移再轉一樣嗎?G1.2 同一個偵測規則,為什麼要在每個位置重用?G1.3 一層會跟著動,整個網路也會嗎?G1.4 寫進架構的對稱,實作時還保得住嗎?G1.5 實作:平移後,CNN 的答案真的一起移了嗎?芳香環:旋轉對稱;原子旁的箭頭是會跟著一起轉的 vector feature。G2Rotations andFeature TypesG2.0 手機轉了,同一個偵測器要怎麼一起轉?G2.1 有了方向之後,下一層要怎麼共享規則?G2.2 一個數字、一支箭頭,能用同一種 activation 嗎?G2.3 要不要把方向留下來?G2.4 實作:四個旋轉,逐一檢查同一個模型同一個中心上的相同配體:任意交換兩個,分子不變。G3Sets andPermutationsG3.0 地標換個排列,為什麼答案不該變?G3.1 把每個點的資訊加起來,能留下什麼?G3.2 每個點都要一個答案,還能忽略排列嗎?G3.3 看完整群點之後,怎麼回頭判斷每個點?每個原子都和其他所有原子相連,鍵的強弱不同,少數被遮蔽。G4Attention andTransformersG4.0 每個點都要讀同一份摘要嗎?G4.1 名單重排後,attention 會跟著怎麼變?G4.2 一層 attention,怎麼接成 Transformer?G4.3 句子的順序有意義,還要忽略排列嗎?G4.4 誰能參考誰,也可以是輸入的一部分嗎?G4.5 實作:Transformer 的排列、位置與 mask分支分子:訊息沿著鍵往中心傳,虛線圈是 1-hop 與 2-hop 的範圍。G5Graphs andMessage PassingG5.0 沿道路傳訊息,換路口編號後還是同一條規則嗎?G5.1 鄰居很多的路口,訊息要怎麼算?G5.2 取平均之後,還看得出鄰居有幾個嗎?G5.3 每個路口看到的都一樣,模型分得出兩張圖嗎?G5.4 實作:重編路口與分不開的兩張 graph楔形與虛線鍵畫出的立體中心,和它的鏡像:怎麼旋轉都疊不回去。G6EuclideanGeometryG6.0 把整個分子轉過去,預測的力也該一起轉嗎?G6.1 用距離決定大小,用相對位置決定方向:EGNNG6.2 能量不變,為什麼它的 gradient 會跟著轉?G6.3 鏡子裡的分子,也一定要得到相同答案嗎?G6.4 實作:座標、力與鏡像的三種檢查d 軌域:tensor features 建立在 spherical harmonics 之上。G7Tensor Features規劃中 · 7 篇Scalar 與 vector 還不夠描述什麼? — 規劃中球面上的方向要怎麼編碼? — 規劃中旋轉之後,這組 angular features 要怎麼一起變? — 規劃中把兩種 feature 組合後,會得到哪種型態? — 規劃中Tensor field layer 要遵守什麼? — 規劃中Parity 與 feature budget 要怎麼選? — 規劃中實作:typed tensor features 的旋轉測試 — 規劃中萘:原子旁的刻度是最高頻 graph eigenmode 的正負號。G8Graph Structure andSpectral Methods規劃中 · 8 篇局部訊息不夠,要新增哪種資訊? — 規劃中圖上的平滑與 Laplacian — 規劃中沒有規則格點,frequency 是什麼? — 規劃中知道 graph frequency 後,要怎麼設計 filter? — 規劃中多傳幾輪,訊息為什麼變得太像? — 規劃中遠方資訊都擠進同一個向量,會怎樣? — 規劃中要補遠方資訊,可以改連線或加入結構嗎? — 規劃中實作:深度、瓶頸與 structural encoding — 規劃中碗狀的 corannulene,邊上有兩組局部座標系。G9Surfaces andLocal Frames規劃中 · 7 篇沿曲面走,直線還是最短路嗎? — 規劃中每個位置自己的 tangent plane — 規劃中不同位置的箭頭怎麼比較? — 規劃中換一套 local frame,答案怎麼變? — 規劃中曲面上的 kernel,要怎麼配合 local frames? — 規劃中局部運算接成整個網路,還保留哪些幾何關係? — 規劃中實作:局部座標系變換的檢查 — 規劃中Jahn–Teller 扭曲的環疊在理想形狀上;箭頭是選定的標準方向。G10Approximate Symmetry andCanonicalization規劃中 · 5 篇對稱只近似成立,偏差來自任務還是模型? — 規劃中多看幾個視角,或先換到標準視角? — 規劃中標準方向突然翻轉,模型會怎樣? — 規劃中允許偏離對稱時,應保留哪些限制? — 規劃中實作:近似對稱的效能與一致性 — 規劃中散亂的雜訊流向一個環:從 noise 到結構。G11GeometricGenerative Models規劃中 · 7 篇生成一個分子,答案是座標還是分布? — 規劃中整體平移與中心化的機率模型 — 規劃中Score 與 velocity 應怎麼隨旋轉變? — 規劃中沿等變 ODE 取樣,分布也會對稱嗎? — 規劃中SDE 的每條樣本都不一樣,對稱要怎麼檢查? — 規劃中幾何合理,化學也一定合理嗎? — 規劃中實作:幾何生成與有效性評估 — 規劃中
      已讀未讀規劃中紀錄只留在這台裝置

      課程

      Geometric Deep Learning 6 個單元 · 31 篇 · 2026年10月

      從 symmetry 的問題出發,推導運算限制、交代設計選擇,再構造 CNN、集合模型、Attention/Transformer 與 GNN,並建立幾何、energy 與 force 的關係。第一階段 G1–G6 共 31 篇;G7–G11 規劃 34 篇擴充。

      瀏覽 6 個單元

      基礎

      學術技能

      Paper Writing 學術論文寫作技巧。 1 篇 · Updated 2026年4月
      Website & Tooling 學術網站與研究工具的搭建方式,可以直接複製去用。 1 篇 · Updated 2026年8月