誰參考誰:名單重排與附帶資訊
固定五個點與三組 projection,實際算出 Q/K/V、權重與輸出。沒有訓練模型;重排只改目前的存放順序。
附帶資訊
沒有固定位置
固定位置
相對位置 bias
Causal mask
重排名單
還原
資訊一起搬(位置/關係)
詢問者
A
B
C
D
E
溫度
1.0
權重表:row 問 column
金色框是目前的 query;每列權重加總為 1。禁止參考的位置是 0。
目前的資料列與輸出(依身分對齊)
點
content
實際 Y′
預期 PY
輸出 defect:max |Y′−PY|
權重 defect:max |A′−PAPᵀ|