KV Cache：撐爆 GPU 倉庫的推論優化，以及大家怎麼救它
KV Cache 把算過的 Key/Value 存下來，避免自回歸生成時重算，代價是記憶體隨序列長度暴增；MQA/GQA、MLA、Sliding Window、Streaming LLM、KV pruning、跨對話 prefix 共用都是為了讓這個「倉庫」撐久一點。
Tag
#kv-cache
2 篇文章
DeepSeek 4：用三層壓縮把 1M token context 塞進開源模型
DeepSeek 4 在開源權重下做到 100 萬 token 的 context window，靠的是三層 KV cache 壓縮把記憶體需求砍掉約 90%；Pro 版本在長文本記憶測試上贏過 Gemini 3.1 Pro，同時算力與價格都大幅下降。