簡(jiǎn)談以太網(wǎng)RDMA網(wǎng)卡的應用

  ICCSZ訊 各式各樣的數據在網(wǎng)絡(luò )介質(zhì)中通過(guò)網(wǎng)絡(luò )協(xié)議(如TCP/IP)進(jìn)行傳輸時(shí)，如果信息量過(guò)大而不加以限制的話(huà)，那么超額的網(wǎng)絡(luò )流量就會(huì )導致設備反應緩慢，由此就造成了網(wǎng)絡(luò )延遲。

  延遲越低越好，效率越高越好，這不僅僅是數據中心網(wǎng)絡(luò )的要求，我們平常使用的內部網(wǎng)絡(luò )同樣也希望如此。當前的網(wǎng)絡(luò )速度有萬(wàn)兆、2.5萬(wàn)兆、4萬(wàn)兆，甚至10萬(wàn)兆、20萬(wàn)兆……的趨勢都已經(jīng)來(lái)了，網(wǎng)絡(luò )帶寬似乎已經(jīng)不是主要的瓶頸了，而服務(wù)器系統和CPU本身逐步轉為了制約網(wǎng)絡(luò )I/O的瓶頸，影響服務(wù)器的整體性能。

  1. 如何解決問(wèn)題？

  解決問(wèn)題的基本思路就是：通過(guò)應用程序直接讀取和寫(xiě)入遠程內存，而無(wú)需CPU介入進(jìn)行多次拷貝內存，還可繞過(guò)內核直接向網(wǎng)卡寫(xiě)數據，實(shí)現了高吞吐量、超低時(shí)延和低CPU開(kāi)銷(xiāo)的效果。

  實(shí)現這樣功能的技術(shù)就是RDMA（Remote Direct Memory Access）技術(shù)，也就把RDMA【遠程直接數據存取】技術(shù)運用到了網(wǎng)卡控制器上。

  那么具有RDMA功能的網(wǎng)卡和不具有RDMA網(wǎng)卡的有什么不同呢？

  首先不具備RDMA功能的網(wǎng)卡的傳輸路徑過(guò)程是：應用程序--->系統--->內存--->CPU--->內存--->硬盤(pán)---->內存--->網(wǎng)卡。

  而具有RDMA功能的網(wǎng)卡，在進(jìn)行數據傳輸時(shí)候，網(wǎng)卡繞過(guò)CPU來(lái)實(shí)現服務(wù)器間的內存數據交換：應用程序--->內存--->硬盤(pán)---->內存--->網(wǎng)卡。大大地簡(jiǎn)化了過(guò)程，傳輸效率有了明顯的提升。

  具有RDMA功能的網(wǎng)絡(luò )和不具有RDMA功能的網(wǎng)絡(luò )工作示意【圖片來(lái)自網(wǎng)絡(luò )】

   （綠色表示RDMA的工作路徑，橙色表示不具有RDMA功能的工作路徑）

  RDMA作為一種硬件實(shí)現的網(wǎng)絡(luò )傳輸技術(shù)，可以大幅提升網(wǎng)絡(luò )傳輸實(shí)效，幫助網(wǎng)絡(luò )IO密集的業(yè)務(wù)（比如分布式存儲、分布式數據庫等）獲得更低的時(shí)延以及更高的吞吐。

  目前市場(chǎng)上能夠支持RDMA功能的網(wǎng)卡產(chǎn)品并不普及，如我們熟知的Intel網(wǎng)卡，也只在X722-da2/da4上加入了單一的iWARP功能。

  而由深圳市聯(lián)瑞電子有限公司推出的三款國產(chǎn)萬(wàn)兆光纖網(wǎng)卡：聯(lián)瑞LRES1004PF-2SFP+、聯(lián)瑞LRES1005PF-4SFP+、聯(lián)瑞LRES1009PF-SFP+均具有RoCE和iWARP的RDMA功能，同時(shí)成為國內首批具有RDMA功能的國產(chǎn)網(wǎng)卡之一。接下來(lái)還會(huì )有25G的支持RDMA的光纖網(wǎng)卡上市，我們拭目以待。

  2. RDMA的應用

  （1）在服務(wù)器群集上應用

  RDMA用來(lái)把小型服務(wù)器連接為一個(gè)群集；可以處理一些十幾顆處理器的高端服務(wù)器才能夠處理的大型數據庫。

  （2）在高速集群和服務(wù)器區域網(wǎng)上應用

  采用RDMA來(lái)獲取高性能的協(xié)議，包括SDP（Sockets Direct Protocol）、SRP（SCSI RDMA Protocol）和DAFS（Direct Access File System）；

  （3）在分布式應用程序的集群上應用

  采用RDMA的通信庫，包括DAPL（Direct Access Provider Library）、MPI（Message Passing Interface）和VIPL（Virtual Interface Provider Library），運行在分布式應用程序的集群是RDMA 能夠大顯身手的領(lǐng)域之一；

  通過(guò)DAPL或VIPL以及集群上運行的數據庫軟件來(lái)使用RDMA，可在相同的節點(diǎn)數目下獲得更高的性能和更好的延展性。使用MPI的集群科技運算應用程序，通過(guò)支持互連RDMA 實(shí)現了低延遲時(shí)間低開(kāi)銷(xiāo)和高吞吐量，這一結果也使它獲得了巨大的性能提升其他初期的RDMA 應用；

  iWARP/RDMA這類(lèi)技術(shù)是通過(guò)DAFS的遠程文件服務(wù)器訪(fǎng)問(wèn)、通過(guò)SRP的存儲設備訪(fǎng)問(wèn)RDMA技術(shù)成為高速集群系統和存儲域網(wǎng)絡(luò )的基本特征技術(shù)。

  還有用于RDMA的iSCSI擴展的iSER，充分利用了RDMA的功能。

  RDMA的其他早期應用還有通過(guò)DAFS的遠程文件服務(wù)器訪(fǎng)問(wèn)和通過(guò)SRP的刀片服務(wù)器存儲訪(fǎng)問(wèn)。

  （4）在NAS和SAN上應用

  傳統的直連存儲DAS是以服務(wù)器為中心的存儲結構，這一存儲體系結構存在容量限制、連接距離有限、不易于共享和管理等不可克服的缺點(diǎn)。已經(jīng)不能夠滿(mǎn)足網(wǎng)絡(luò )時(shí)代的應用需求，

  存儲技術(shù)發(fā)生巨大變化出現了，出現了如：網(wǎng)絡(luò )附加存儲NAS、存儲區域網(wǎng)絡(luò )SAN。這些既能為網(wǎng)絡(luò )上的應用系統提供豐富快速簡(jiǎn)便的存儲資源，又能共享存儲資源并對其實(shí)施集中管理，成為當前理想的存儲管理和應用模式，

  但NAS結構存在一些難以解決的問(wèn)題如：傳輸能力有限、可擴展性有限、數據備份能力有限、并且不能對數據庫服務(wù)提供有效的支持。

  DAFS把RDMA的優(yōu)點(diǎn)和NAS的存儲能力集成在一起，全部的讀寫(xiě)操作都直接通過(guò)RDMA驅動(dòng)器執行，從而降低了網(wǎng)絡(luò )文件協(xié)議所帶來(lái)的系統負載，今后的NAS存儲系統將會(huì )采用DAFS技術(shù)來(lái)提高系統性能，并且在性能和價(jià)格上與SAN 存儲系統進(jìn)行有力的競爭。

  （5）在高性能數據中心上應用

  數據中心、AI訓練、云存儲等

  關(guān)于聯(lián)瑞

  深圳市聯(lián)瑞電子有限公司（簡(jiǎn)稱(chēng)：深圳聯(lián)瑞）是一家成立于2006年的專(zhuān)業(yè)以太網(wǎng)卡解決方案提供商，是集各種接口以太網(wǎng)網(wǎng)卡研發(fā)、生產(chǎn)、銷(xiāo)售及服務(wù)于一體的科技型企業(yè)，旗下?lián)碛蠰R-LINK品牌商標。公司通過(guò)ISO9001:2015質(zhì)量管理體系認證，先后加入PCI-SIG行業(yè)協(xié)會(huì )、中國機器視覺(jué)產(chǎn)業(yè)聯(lián)盟、訊石光通訊網(wǎng)。公司堅持做專(zhuān)、做精、做強的戰略方針，弘揚務(wù)實(shí)創(chuàng )新、追求卓越的企業(yè)精神，始終把推動(dòng)科技創(chuàng )新、振興民族品牌作為聯(lián)瑞人的責任和義務(wù)。公司自主研發(fā)生產(chǎn)的產(chǎn)品均通過(guò)FCC、CE、ROHS等國際權威認證以及國家行業(yè)認證，并已廣泛運用于政府機關(guān)、軍工企業(yè)、電信運營(yíng)商、銀行、證券、高等院校等企事業(yè)單位，以及互聯(lián)網(wǎng)數據中心、云計算、工業(yè)自動(dòng)化、機器視覺(jué)等專(zhuān)業(yè)領(lǐng)域。

  深圳聯(lián)瑞中文官網(wǎng)：www.lr-link.com.cn