Kafka 為什麼這麼快?高吞吐、循序 I/O 與便宜磁碟的祕密
說 Kafka「快」通常指的是它的高吞吐能力。關鍵設計之一是用 append-only log 把磁碟存取變成循序 I/O,避開隨機尋道;再加上 HDD 便宜又大容量,Kafka 得以低成本長期保留訊息。
Series · 2 篇
兩篇拆解 Kafka 高效能的底層原理:從循序 I/O、Zero-Copy 到 partition 與 consumer group。
說 Kafka「快」通常指的是它的高吞吐能力。關鍵設計之一是用 append-only log 把磁碟存取變成循序 I/O,避開隨機尋道;再加上 HDD 便宜又大容量,Kafka 得以低成本長期保留訊息。
Kafka 高效能的第二根支柱是 zero copy:透過 sendfile 系統呼叫,讓資料從 OS cache 直接送到網卡,省下多餘的記憶體複製與 system call。