超越 RAG：Andrej Karpathy 的 LLM Wiki 模式深度解析
LLM Wiki 不是查詢工具，是讓知識隨時間複利成長的架構——LLM 主動建構並維護一個 markdown 知識庫，而非每次查詢都重新從原始文件撈取。
Series · 5 篇
RAG 系統架構
精選導讀（非連載）：重新思考 RAG、向量 vs 推理檢索，到上下文失效與壓縮的系統設計。
- 01
- 02
RAG 五階段：從流水線到會思考的檢索，以及我站上那個 Naive RAG
RAG 這兩年從『線性流水線』演化到『循環推理』，可以用五階段梳理：Naive、Advanced、Modular、Graph、Agentic。分水嶺是控制權從管線移交給 Agent，範式從 System 1 進到 System 2。回頭看 engineer-news 這個站的實作，其實還卡在 Naive RAG 邊界——這篇順便把它的下一步應該補什麼寫清楚。
- 03
想蓋一個能用的 RAG：InfiniFlow 2024 年度總結給我的 5 個 infra 功課
上一篇拉高看 RAG 五階段全景，這篇拉近看實際想蓋一個 RAG 要面對的 5 個 infra 功課：文件入口解析、Chunking 上下文化、三路混合搜尋、Tensor Reranker、GraphRAG 語意鴻溝。每個功課都對照 engineer-news 現況，收尾給出對個人站的優先順序清單。
- 04
PageIndex 深度解析：用 LLM 推理取代向量搜尋的 RAG 架構
PageIndex 用階層樹索引 + LLM Agent 推理取代向量 DB，在長文件場景（FinanceBench 98.7%）表現亮眼；本站的 Hybrid RAG 則以向量搜尋 + 關鍵字 fallback 在 Cloudflare edge 上跑，取捨完全不同。
- 05
Headroom：在 prompt 送出前，把上下文壓掉 90% 的本地壓縮層
Headroom 在 LLM 請求送到供應商前，於本地把 tool 輸出、log、RAG chunk 壓掉 60–95% 的 token。真正值得學的不是壓縮率，而是它用『mask 抽取 + 快取變異經濟學』決定該不該壓——以及一個文件超前實作的提醒。