#memory-learning

Titans：讓模型在測試時記憶（論文分析重點整理）

Google Research 的 Titans 提出一種讓模型在測試時（推論期間）記憶的架構：把很長的文本切成好幾段，用記憶把前段學到的東西帶到後段，藉此突破 transformer 的 context window 限制。想法確實不錯，但論文裡不少被稱為「memory」的東西，其實是既有做法換了名字。