Kafka中sequence IO、PageCache、SendFile的應用詳解

大家都知道Kafka是將數據存儲于磁盤的，而磁盤讀寫性能往往很差，但Kafka官方測試其數據讀寫速率能達到600M/s，那么為什么Kafka性能會這么高呢？

首先producer往broker發送消息時，采用batch的方式即批量而非一條一條的發送，這種方式可以有效降低網絡IO的請求次數，提升性能。此外這些批次消息會"暫存"在緩沖池中，避免頻繁的GC問題。批量發送的消息可以進行壓縮并且傳輸的時候可以進行高效的序列化，從而減少數據大小。

Kafka除了在producer發送消息方面做了很多優化，還有很多其他的優化，比如Kafka利用了sequence IO、PageCache、SendFile這3種處理方案：

sequence IO

首先來了解一下磁盤的特性：快速順序讀寫、慢速隨機讀寫。因為磁盤是典型的IO塊設備，每次讀寫都會經歷尋址，其中尋址中尋道是比較耗時的。隨機讀寫會導致尋址時間延長，從而影響磁盤的讀寫速度。

大家有沒有想過MapReduce進行shuffle的時候，為什么map端和reduce端要進行排序，不排序不也不影響正常業務的處理，排序反而因為消耗資源增加了處理時間？

以map端為例，執行過程中會產生很多小文件，這些小文件要經歷歸并排序等一系列處理后才會被reduce端進行處理。提前對未合并的文件進行排序正是利用了磁盤快速順序讀寫的特性來提高歸并排序的速度。

而Kafka在將數據持久化到磁盤時，采用只追加的順序寫，有效降低了尋址時間，提高效率。下圖展示了Kafka寫入數據到partition的方式：

可以看到Kafka會將數據插入到文件末尾，并且Kafka不會"直接"刪除數據，而是把所有數據保存到磁盤，每個consumer會指定一個offset來記錄自己訂閱的topic的partition中消費的位置。當然我們可以設置策略來清理數據，比如通過參數log.retention.hours指定過期時間，當達到過期時間時，Kafka會清理數據。

PageCache

PageCache是系統級別的緩存，它把盡可能多的空閑內存當作磁盤緩存使用來進一步提高IO效率，同時當其他進程申請內存，回收PageCache的代價也很小。

當上層有寫操作時，操作系統只是將數據寫入PageCache，同時標記Page屬性為Dirty。當讀操作發生時，先從PageCache中查找，如果發生缺頁才進行磁盤調度，最終返回需要的數據。

PageCache同時可以避免在JVM內部緩存數據，避免不必要的GC、以及內存空間占用。對于In-Process Cache，如果Kafka重啟，它會失效，而操作系統管理的PageCache依然可以繼續使用。

對應到Kafka生產和消費消息中：

producer把消息發到broker后，數據并不是直接落入磁盤的，而是先進入PageCache。PageCache中的數據會被內核中的處理線程采用同步或異步的方式寫回到磁盤。

Consumer消費消息時，會先從PageCache獲取消息，獲取不到才回去磁盤讀取，并且會預讀出一些相鄰的塊放入PageCache，以方便下一次讀取

如果Kafka producer的生產速率與consumer的消費速率相差不大，那么幾乎只靠對broker PageCache的讀寫就能完成整個生產和消費過程，磁盤訪問非常少。

SendFile

傳統的網絡I/O過程：

1.操作系統從磁盤把數據讀到內核區

2.用戶進程把數據從內核區copy到用戶區

3.然后用戶進程再把數據寫入到socket，數據流入內核區的Socket Buffer上

4.最后把數據從socket Buffer中發送到到網卡，這樣完成一次發送

可以發現，同一份數據在內核Buffer與用戶Buffer之間拷貝兩次：

但是通過SendFile（又稱zero copy）優化后，直接把數據從內核區copy到socket，然后發送到網卡，避免了在內核Buffer與用戶Buffer來回拷貝的弊端：

不僅是Kafka，Java的NIO提供的FileChannle，它的transferTo、transferFrom方法也利用了這種在內核區完成數據傳輸的功能。