DeepSeek 4:用三層壓縮把 1M token context 塞進開源模型
DeepSeek 4 在開源權重下做到 100 萬 token 的 context window,靠的是三層 KV cache 壓縮把記憶體需求砍掉約 90%;Pro 版本在長文本記憶測試上贏過 Gemini 3.1 Pro,同時算力與價格都大幅下降。
Tag
1 篇文章
DeepSeek 4 在開源權重下做到 100 萬 token 的 context window,靠的是三層 KV cache 壓縮把記憶體需求砍掉約 90%;Pro 版本在長文本記憶測試上贏過 Gemini 3.1 Pro,同時算力與價格都大幅下降。