J-lens：Anthropic 從『全域工作空間』找到 Claude 內在思考的可解釋性新工具
Anthropic 提出 J-lens，一種捕捉 Transformer 內部『可語言化』表示的可解釋性工具，並用它證實 Claude 內部存在類似神經科學『全域工作空間』的特權子空間——一小組向量對外廣播、驅動推理、可被使用者調控，也在欺騙與評估感知時洩漏訊號。
Tag
#paper-analysis
3 篇文章
Titans：讓模型在測試時記憶（論文分析重點整理）
Google Research 的 Titans 提出一種讓模型在測試時（推論期間）記憶的架構：把很長的文本切成好幾段，用記憶把前段學到的東西帶到後段，藉此突破 transformer 的 context window 限制。想法確實不錯，但論文裡不少被稱為「memory」的東西，其實是既有做法換了名字。
TiDAR：Nvidia 的擴散＋自回歸混合架構——把閒置的 GPU 算力換成推論加速
TiDAR 是 Nvidia 提出的自回歸＋擴散混合語言模型架構：它的取樣結果與純 AR 完全一致（保住品質），卻能利用 AR 推論時閒置的 GPU 算力、用 diffusion 預先計算來換取加速，幾乎是一頓『免費午餐』。