#KV Cache

KV Cache：LLM 推論效能最關鍵的優化技術

KV Cache 讓 Transformer 的自回歸生成從每個 token 都要重算整個序列的 O(n²) 複雜度，降到每步只計算當前 token 的 O(n)，是現代 LLM 推論速度可接受的核心原因。