tech 概念解析
CPU vs GPU vs TPU:選錯了真的很貴
CPU 適合控制流程複雜的任務,GPU 適合大規模平行計算,TPU 針對矩陣運算做了極致優化。對大多數工程師來說,真正的決策點是雲端推理用 GPU 還是 CPU,以及何時值得租 TPU。
Tag
3 篇文章
CPU 適合控制流程複雜的任務,GPU 適合大規模平行計算,TPU 針對矩陣運算做了極致優化。對大多數工程師來說,真正的決策點是雲端推理用 GPU 還是 CPU,以及何時值得租 TPU。
CUDA OOM 錯誤背後有五個常見的根本原因:batch size 過大、梯度累積在計算圖中、中間張量沒有釋放、多 GPU 不均衡、以及記憶體碎片化。正確的診斷比加 `empty_cache()` 有效得多。
透過 Docker 在 GPU 機上部署 Ollama,並在 Windows 用 netsh portproxy 將 localhost:11434 轉發到 GPU 機,讓 Codex 在 Windows 上透明使用遠端 GPU。