隨著云計算業(yè)務(wù)的快速發(fā)展，國內(nèi)外云計算企業(yè)的專利之爭也愈發(fā)激烈。在云計算這樣的技術(shù)領(lǐng)域，專利儲備往往代表著企業(yè)最新的技術(shù)實力。華云數(shù)據(jù)本期“智匯華云”專欄將解析Kernel bypass技術(shù)及其在Ceph中的應(yīng)用介紹，與大家共同分享云計算領(lǐng)域的最新技術(shù)與解決方案。
背景
Ceph是當(dāng)前最流行的開源分布式統(tǒng)一存儲，在一套基礎(chǔ)架構(gòu)中同時支持塊存儲、對象存儲和文件存儲，支持PB級別的擴展能力，廣泛用于云環(huán)境中；Ceph來源于Sage Weil博士一項關(guān)于存儲系統(tǒng)的PhD研究項目，最初被設(shè)計為一個分布式文件系統(tǒng)，整體架構(gòu)基于低速設(shè)備而構(gòu)建，提供毫秒（ms）級別的IO延遲。
從1956年第一塊機械硬盤（HDD）誕生至今，存儲介質(zhì)的容量和性能都取得了長足的發(fā)展，特別是2011前后固態(tài)硬盤（SSD）產(chǎn)生后，IOPS出現(xiàn)了指數(shù)級的增長，IO延遲也從毫秒（ms）降到了微妙（us），提升了1000倍以上；與此同時，網(wǎng)絡(luò)傳輸速率也從10年前的100Mbps，發(fā)展到了目前的100Gbps，實現(xiàn)了1000倍的增長。
隨著硬件性能的快速提升，傳統(tǒng)的軟件實現(xiàn)和架構(gòu)已成為提升軟件系統(tǒng)的主要瓶頸，有數(shù)據(jù)表明，在全NVMe固態(tài)介質(zhì)的配置下，Ceph集群性能只有硬件限性性能的40%左右，所以為了充分利用高性能介質(zhì)，需要對現(xiàn)有的軟件進行重構(gòu)。
Kernel bypass技術(shù)
隨著硬件性能的提升，內(nèi)核中的網(wǎng)絡(luò)棧和存儲棧帶來的性能瓶頸越來越明顯，為縮短io路徑、解決NVMe SSD在傳統(tǒng)IO棧上的性能問題，Linux內(nèi)核從4.x開始引入了新的NVMe IO棧，如下圖，可以看新的IO子系統(tǒng)完全擯棄了傳統(tǒng)的通用塊層和SCSI子系統(tǒng)：
而kernel bypass（繞過內(nèi)核）是解決系統(tǒng)網(wǎng)絡(luò)棧和存儲棧性能瓶頸的另外一種方式，與傳統(tǒng)的中斷機制不同，kernel bypass的核心思想是：內(nèi)核只用來處理控制流，所有數(shù)據(jù)流相關(guān)操作都在用戶態(tài)進行處理，從而規(guī)避內(nèi)核的包拷貝、線程調(diào)度、系統(tǒng)調(diào)用、中斷等性能瓶頸，并輔以各種性能調(diào)優(yōu)手段（如：CPU pin、無鎖隊列），從而達到更高的性能。目前市場上也有多種類似的技術(shù)，如DPDK、NETMAP、SPDK、PF_RING、RDMA等，其中 DPDK 因為更徹底的脫離內(nèi)核調(diào)度以及活躍的社區(qū)支持從而得到了更廣泛的使用。下文簡單介紹下DPDK、SPDK以及RDMA的技術(shù)原理：
DPDK（Data Plane Development Kit）是由Intel發(fā)起，主要基于Linux系統(tǒng)運行，用于快速數(shù)據(jù)包處理的函數(shù)庫與驅(qū)動集合，可以極大提高數(shù)據(jù)處理性能和吞吐量，提高數(shù)據(jù)平面應(yīng)用程序的工作效率。DPDK使用了輪詢(polling)而不是中斷來處理數(shù)據(jù)包。在收到數(shù)據(jù)包時，經(jīng)DPDK重載的網(wǎng)卡驅(qū)動不會通過中斷通知CPU，而是直接將數(shù)據(jù)包存入內(nèi)存，交付應(yīng)用層軟件通過DPDK提供的接口來直接處理，這樣節(jié)省了大量的CPU中斷時間和內(nèi)存拷貝時間。
SPDK（Storage Performance Development Kit）是由Intel發(fā)起，用于加速使用NVMe SSD作為后端存儲的應(yīng)用軟件加速庫，該軟件庫的核心是用戶態(tài)、異步、輪詢方式的NVMe驅(qū)動。與內(nèi)核態(tài)的NVMe驅(qū)動相比，它可以大幅度降低延遲，同時提升單CPU核的IOPS。其架構(gòu)如下：
RDMA（Remote Direct Memory Access）全稱遠程直接數(shù)據(jù)存取，就是為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過網(wǎng)絡(luò)把資料直接傳入計算機的存儲區(qū)，將數(shù)據(jù)從一個系統(tǒng)快速移動到遠程系統(tǒng)存儲器中，而不對操作系統(tǒng)造成任何影響，這樣就不需要用到多少計算機的處理功能。它消除了外部存儲器復(fù)制和上下文切換的開銷，因而能解放內(nèi)存帶寬和CPU周期用于改進應(yīng)用系統(tǒng)性能。下圖直觀的展示了傳統(tǒng)模式和RDMA模式下的差異：
SPDK技術(shù)在Ceph BlueStore中的應(yīng)用
先來看一組來自Intel的性能測試數(shù)據(jù)：用戶態(tài)NVMe 驅(qū)動 VS 內(nèi)核態(tài)NVMe驅(qū)動
通過上面的對比數(shù)據(jù)，我們看到了SPDK的優(yōu)異性能表現(xiàn)及潛力，很自然想到可以通過加速Ceph OSD后端IO來提升Ceph性能，具體做法是：使用SPDK中的用戶態(tài)NVMe驅(qū)動替代內(nèi)核驅(qū)動，bluestore架構(gòu)如下：
從上圖可得到如下信息：
1.使用裸設(shè)備，數(shù)據(jù)直接寫入塊設(shè)備，消除文件系統(tǒng)的影響
2.在裸設(shè)備上構(gòu)建輕量級的Bluefs文件系統(tǒng)，用于承載元數(shù)據(jù)庫RocksDB
3.支持插件式的塊分配器（當(dāng)前支持StupidAllocator和BitmapAllocator兩種）
4. 支持插件式的塊設(shè)備驅(qū)動（當(dāng)前僅支持Kernel Driver）
所以，要支持新的塊設(shè)備驅(qū)動只需添加新的設(shè)備類型（Type）以及實現(xiàn)相應(yīng)的驅(qū)動（Driver）即可。
DPDK/RDMA技術(shù)在Ceph中的應(yīng)用
在講DPDK/RDMA的應(yīng)用前，我們先來看看Ceph中兩種常用的網(wǎng)絡(luò)模塊（Messenger）：
1.SimpleMessenger
SimpleMessenger是Ceph最早支持的一種網(wǎng)絡(luò)模塊，如其名字所述，實現(xiàn)相對比較簡單：它通過一個線程來監(jiān)聽服務(wù)端口、接收客戶連接；每個新建連接與一個Pipe關(guān)聯(lián)，實現(xiàn)兩個端口間類似管道的功能；Pipe內(nèi)部分別有一個讀寫線程用來處理這個Pipe有關(guān)的消息接收和請求的發(fā)送；SimpleMessenger通過共享隊列向各連接分發(fā)接收到的消息。由于每個連接都需要關(guān)聯(lián)一對讀寫線程來負責(zé)消息和請求的處理，很顯然，隨著連接數(shù)量以及并發(fā)的增大，將會產(chǎn)生大量的線程，隨之線程上下文切換、TCP/IP的overhead也將成倍的增加，嚴重影響消息和請求的處理性能。
2.AsyncMessenger
為了解決SimpleMessenger中大量線程上下文切換帶來的overhead，AsyncMessenger采用了IO多路復(fù)用技術(shù)（如：epoll、kqueue）以及線程池，來處理消息接收和請求發(fā)送，這樣可以非阻塞的處理多個網(wǎng)絡(luò)請求；為了兼容不同的傳輸協(xié)議棧，AsyncMessenger還通過插件的方式支持多種傳輸協(xié)議，如：posix、dpdk和rdma，其結(jié)構(gòu)如下：
從上圖我們可以看到通過繼承NetworkStack，添加不同的實現(xiàn)即可支持不同的傳輸協(xié)議，如：PosixStack、DPDKStack、RDMAStack。
結(jié)合上述的DPDK技術(shù)、RDMA技術(shù)和SPDK技術(shù)，Ceph將能夠提供一套純用戶態(tài)的存儲解決方案，個人認為也是當(dāng)前存儲系統(tǒng)設(shè)計的其中一個發(fā)展方向。
上文簡單介紹了DPDK、SPDK、RDMA技術(shù)在Ceph中的應(yīng)用，后續(xù)將對上述各部分進行深度的分析，敬請期待。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
