#inference-optimization

KV Cache：撐爆 GPU 倉庫的推論優化，以及大家怎麼救它

KV Cache 把算過的 Key/Value 存下來，避免自回歸生成時重算，代價是記憶體隨序列長度暴增；MQA/GQA、MLA、Sliding Window、Streaming LLM、KV pruning、跨對話 prefix 共用都是為了讓這個「倉庫」撐久一點。