- 問題不在 AI,而在指令輸出本身塞滿對 AI 沒意義的東西:顏色 escape code、空行、重複 header、冗長 stack trace。
- RTK 在輸出進入 context 前攔截壓縮,常見指令省 60–90% token,overhead < 10ms,單一 Rust binary、零依賴。
- 跟 9Router 互補:RTK 壓的是『指令輸出』、9Router 管的是『provider 路由與成本』,是兩個不同維度。
目錄
用 Claude Code 寫程式,一次 git diff 就可能吃掉幾千 token。問題不在 AI 笨,而在輸出本身充滿對 AI 沒意義的內容——顏色 escape code、空白行、重複的 header、冗長的 stack trace。這些 token 你照樣付費、context window 照樣被佔,但對模型理解程式碼毫無幫助。
RTK (Rust Token Killer) 的切入點:在命令輸出進入 AI context 之前先攔截、過濾、壓縮,再把乾淨版本交給 LLM。它是單一 Rust binary、零依賴、支援 100+ 指令、overhead 低於 10ms。專案在 GitHub 上有 6.6 萬顆星、更新活躍,採 Apache 2.0 授權。
設計哲學:壓「噪音」,不壓「訊息」
RTK 不是無腦截斷輸出,而是針對每種指令的輸出格式做語意壓縮:去掉 ANSI 顏色碼、摺疊重複區塊、移除無意義空白、保留真正有資訊量的部分。對 AI 來說,git status 重要的是「哪些檔案改了」,不是那一堆排版與提示文字。
官方給的 30 分鐘 Claude Code session 估算(中型 TypeScript / Rust 專案):
| 指令 | 次數 | 原始 token | RTK 後 | 節省 |
|---|---|---|---|---|
ls / tree | 10× | 2,000 | 400 | −80% |
cat / read | 20× | 40,000 | 12,000 | −70% |
grep / rg | 8× | 16,000 | 3,200 | −80% |
git status | 10× | 3,000 | 600 | −80% |
git diff | 5× | 10,000 | 2,500 | −75% |
git add/commit/push | 8× | 1,600 | 120 | −92% |
cargo test / npm test | 5× | 25,000 | 2,500 | −90% |
pytest / go test | 7× | 14,000 | 1,400 | −90% |
| 合計 | ~118,000 | ~23,900 | −80% |
這是中型專案的估算值,實際節省依專案大小而異。整體落在 60–90% 區間。
安裝與接入
# Homebrew(推薦)
brew install rtk
# 或一行安裝(Linux / macOS)
curl -fsSL https://raw.githubusercontent.com/rtk-ai/rtk/refs/heads/master/install.sh | sh
# 或從原始碼
cargo install --git https://github.com/rtk-ai/rtk
接到 AI coding 工具(會幫對應工具寫好設定):
rtk init -g --copilot # GitHub Copilot
rtk init -g --claude # Claude Code
# 其他工具同理
之後工具呼叫 shell 指令時,輸出會先經過 RTK 壓縮再進 context,你的工作流程完全不變,只是 AI 看到的是更乾淨的版本。
跟向量壓縮 / provider 路由的差別
RTK 解的是「指令輸出層」的 token 浪費,跟兩件事容易混淆:
- 它不是 model 端的回應壓縮,也不改 prompt;它只動「工具輸出 → context」這一段。
- 它跟 9Router 是互補而非競爭:9Router 在請求路由層解決「多 provider 切換與成本」,RTK 在輸出層解決「context 被噪音撐爆」。兩個一起用沒有衝突。
命名提醒:9Router 內建一個同樣叫 RTK 的壓縮 middleware,但那是 9Router 自己的東西,跟這個獨立的 Rust 工具只是縮寫撞名。
適合誰
任何用 CLI-based AI coding 工具(Claude Code、Copilot、Codex、Cursor…)、又常讓 AI 跑 git、測試、grep、docker 等指令的人。專案越大、AI 跑指令越頻繁,省下的 token 越可觀。代價幾乎為零:一個 binary、<10ms overhead、工作流程不變。
參考資料
AI 只根據這篇文章內容回答。點下方任一問題,或直接開右下對話框。
相關標籤
相關文章
9Router:把所有 AI Coding 工具接到 40+ Provider,自動 fallback 不撞額度
把工具的 endpoint 指向 localhost:20128,9Router 就自動在訂閱服務、便宜 API、免費服務之間做三層 fallback,token 過期自動刷新、OpenAI↔Claude 格式自動轉換,並用 RTK 壓掉 20–40% 的 tool output token。
RAG 五階段:從流水線到會思考的檢索,以及我站上那個 Naive RAG
RAG 這兩年從『線性流水線』演化到『循環推理』,可以用五階段梳理:Naive、Advanced、Modular、Graph、Agentic。分水嶺是控制權從管線移交給 Agent,範式從 System 1 進到 System 2。回頭看 engineer-news 這個站的實作,其實還卡在 Naive RAG 邊界——這篇順便把它的下一步應該補什麼寫清楚。
想蓋一個能用的 RAG:InfiniFlow 2024 年度總結給我的 5 個 infra 功課
上一篇拉高看 RAG 五階段全景,這篇拉近看實際想蓋一個 RAG 要面對的 5 個 infra 功課:文件入口解析、Chunking 上下文化、三路混合搜尋、Tensor Reranker、GraphRAG 語意鴻溝。每個功課都對照 engineer-news 現況,收尾給出對個人站的優先順序清單。