Notes & Guides
研究筆記、技術說明與學術技能指南。
Search
Search the static site index.
研究領域
From Noise to Data 從一團 noise 到結構化資料的統一直覺路徑。
整個系列的起點：把 data、distribution、particle 三個詞接成同一張圖——生成就是把一團容易做出來的點，搬到形狀和資料一樣為止。
從 two moons 的最小例子出發，說明生成模型學的是資料分布，而不是記憶訓練樣本，並銜接 noise → data、score 與 velocity 的後續研究語言。
導論已建立『樣本＝會動的 particle』；這篇把鏡頭收到單獨一顆身上，看它隨時間移動的軌跡，建立 Lagrangian 視角。
從 Lagrangian（跟著一顆粒子）切到 Eulerian（每個位置擺一支箭頭）。Vector field 就是 flow matching 要學的對象。
生成不只關心起點與終點，還關心中間那一整條分布的演化 p_t——像兩張照片之間的那段影片。
把 diffusion 理解成「在每個噪聲程度學會修復一點點」，用『純噪聲難辨識、稍微加噪的狗照片仍可辨識』說明為何漸進去噪比一步生成容易，並釐清 diffusion 與本系列相反的時間方向慣例。
score = ∇ log p，指向密度變高的方向；說明去噪與 score 其實是同一件事（差一個已知比例 −1/σₜ），完整的 Tweedie 推導留給 dfc。
flow matching 把生成變成「對速度做回歸」；釐清 velocity 與 score、denoising 的差別，並就地給出『條件目標平均成邊際場』的直覺。
生成就是數值積分一條 ODE/SDE；步數、離散化誤差與 NFE 是一等公民，也是少步生成研究的起點。
收束整張地圖：noise、score、velocity 是描述同一件事的三種語言，附彼此的換算關係與往 dfc 深入的方向。
核心課程的收尾自測——九個跨篇的啟發式問題，把 data／分布／粒子、向量場、probability path、denoising、score、velocity 串起來。答錯也沒關係，每題都附把觀念接回去的說明。
Invariance and Equivariance geometric deep learning：把對稱性（invariance / equivariance）寫進模型。
轉動同一張台北地圖，看看哪些答案應保持不變、哪些座標與方向必須一起移動。
滑動同一張地圖，親眼看見 convolution 的 feature map 同步平移，而 global pooling 把位置收成不變的摘要。
把地圖改成一袋沒有固定順序的點，看看 shuffle 為什麼不能改變集合答案，卻必須同步重排逐點輸出。
把路口重新編號，看看 node prediction 如何跟著節點搬家，而整張道路網路的 readout 保持不變。
把手機地圖每次轉 90°，看 orientation channels 如何循環搬動，並分清 augmentation、averaging 與架構等變。
旋轉、平移同一團地圖點雲，分清距離與能量為何不變，以及座標、速度與力為何必須一起轉。
把對稱性從硬規則慢慢放鬆，看看資料效率、表達力與真實誤差之間為什麼沒有免費答案。