tech 概念解析
Transformer 怎麼知道詞的順序？從絕對位置編碼到 RoPE 的演進
Transformer 的 self-attention 天生不知道詞的順序，位置編碼是補救措施。從正弦函數絕對編碼、可學習絕對編碼、相對位置編碼，到 RoPE（旋轉位置嵌入）——現代 LLM 幾乎都用 RoPE，因為它是免參數、天然表達相對距離、且可外推到更長序列的最佳方案。
Tag
#深度學習
3 篇文章
tech 研究筆記
AI 影片生成的宿敵終於被解決了：時序漂移問題的技術演進
AI 影片生成長年被「時序漂移（temporal drift）」和「記憶遺忘（forgetting）」困擾，2025 年多個新架構——FramePack、MoC、A2RD——提出了系統性的解法，讓長影片生成終於成為可能。
tech 概念解析
Harness Engineering：有時候語言模型不是不夠聰明，只是沒有人類好好引導
Harness Engineering 如何引導語言模型提高智能