在本機跑 LLM 的五種工具：從 llama.cpp 到 vLLM
Qwen、Kimi、GLM 這些開源模型已經夠強，很多情境不再需要託管 API。本文整理五種在本機跑 LLM 的工具，以及各自適合的場景。
Tag
#ollama
2 篇文章
Using Windows Portproxy to Run Codex with Remote GPU Ollama (No Proxy Server Needed)
透過 Docker 在 GPU 機上部署 Ollama，並在 Windows 用 netsh portproxy 將 localhost:11434 轉發到 GPU 機，讓 Codex 在 Windows 上透明使用遠端 GPU。