大型數據中心內的網(wǎng)絡(luò )“甜點(diǎn)”——阿里巴巴自研DAC之路

  DAC（Direct Attach Cable），即直連線(xiàn)纜，在ICT領(lǐng)域有著(zhù)非常廣泛的應用，常用于各類(lèi)IT設備的計算、存儲、網(wǎng)絡(luò )等高速接口短距離互聯(lián)，也通常以其本質(zhì)相稱(chēng)——高速銅纜。

  作為數據中心物理網(wǎng)絡(luò )中的“第一段高速公路”，DAC在國際大型數據中心內已有10多年的大規模使用歷史，國際大型數據中心幾乎不使用AOC（Active Optical Cable，即有源光纜）。2019年前，國內數據中心的應用狀況恰好相反。

  2018年，阿里巴巴開(kāi)啟自研DAC之路。自2019年至今，國內各大數據中心累積使用DAC的數量已遠超500萬(wàn)根，僅阿里云數據中心，在2020年就已達到百萬(wàn)級部署規模。

  阿里自研DAC的應用和落地，只是整個(gè)阿里云基礎設施進(jìn)步和創(chuàng )新的眾多方面之一，但卻體現了阿里云基礎設施整體協(xié)同創(chuàng )新、務(wù)實(shí)求穩的思路。

圖1：商用DAC（左）和AOC（右）

  Q&A

  · 在大規模數據中心場(chǎng)景下使用DAC有什么好處？

  · 什么原因導致DAC在國內數據中心的使用曾相對比較滯后？

  · 阿里巴巴的百萬(wàn)DAC之路背后有哪些思考和體驗？

  · DAC的大規模應用給數據中心帶來(lái)了哪些改變？

  · 展望未來(lái)，DAC在數據中心的應用前景和挑戰是什么？

  01 數據中心物理網(wǎng)絡(luò )互聯(lián)

  首先我們看一下數據中心內物理網(wǎng)絡(luò )高速互聯(lián)鏈路的情況。

圖2：數據中心網(wǎng)絡(luò )鏈路概覽

  在阿里云數據中心網(wǎng)絡(luò )典型3層CLOS架構下，集群內用于Spine和Leaf以及Leaf和TOR之間互聯(lián)的網(wǎng)絡(luò )鏈路長(cháng)度一般在2km以?xún)?，其中Leaf和TOR之間的互聯(lián)長(cháng)度通常在100m之內。這些需要短距和長(cháng)距光模塊連接的鏈路數量，占到整個(gè)集群內總物理鏈路數量的1/3；而從服務(wù)器網(wǎng)卡接至TOR的鏈路長(cháng)度通常在10m之內，但是其鏈路數量則占到了總物理鏈路數的2/3，通常使用DAC或AOC來(lái)連接。

  一、DAC和AOC的異同

圖3：DAC和AOC電/光通道

  AOC和DAC兩者在兩端的模塊封裝上采用相同外形和電界面，如SFP、QSFP等各種標準，確保和系統側（交換機、NIC等）的標準接插。

  AOC的模塊中包含了電、光轉換芯片，基本功能如CDR、Retimer/Gearbox、Laser、PD等電光器件，系統側的電信號調制到光信號上進(jìn)行傳輸。

  DAC則僅僅是無(wú)源銅媒介，包括模塊中直接將高速差分同軸線(xiàn)（twinax cable）焊接起來(lái)并外加屏蔽層和外被層作為成纜（cable assembly），電信號從端到端直接傳輸。

  二、AOC的優(yōu)勢和問(wèn)題

圖4：AOC在“黑盒”交換機下與NIC互聯(lián)

  1. 標準界面，即插即用。針對AOC光模塊的應用，以可插拔模塊和系統端口處為一致性目標點(diǎn)（TP1a和TP4），因此，在交換機“黑盒”時(shí)代，只要交換機所有端口和光模塊都滿(mǎn)足TP1a和TP4的電信號規格，AOC便可以即插即用。中間光信號的傳輸在模塊之間閉環(huán)，系統用戶(hù)也無(wú)需關(guān)心。

  2. 光纖支持更長(cháng)連接距離。眾所周知，光纖的單位長(cháng)度損耗極低，可支持的傳輸距離遠超銅纜。

  三、DAC的優(yōu)勢和問(wèn)題

  對IT設備的用戶(hù)和運維者來(lái)說(shuō)，DAC相比AOC有兩個(gè)非常直觀(guān)的優(yōu)勢：成本和功耗。

  以2019年25G DAC和AOC為例：

  1. 成本低：DAC的成本是AOC的約1/5。

  2. 功耗低：DAC無(wú)源，零功耗；25G AOC功耗大約在1~2瓦/根。

  DAC還有相比AOC擁有更高可靠性和更低延時(shí)的優(yōu)勢，在大規模部署和對時(shí)延敏感型的業(yè)務(wù)中會(huì )有較明顯的體現。DAC相比AOC在浸沒(méi)式液冷環(huán)境中有更強的適應性（無(wú)需考慮光模塊對液體敏感的光電器件的密封處理）。

  四、DAC未規?；褂脷w因

  2019年之前，DAC在國內數據中心未被規?；褂玫脑蛴袃蓚€(gè)：

  1. DAC在網(wǎng)絡(luò )“黑盒”設備下的運營(yíng)問(wèn)題：在使用商業(yè)交換機的時(shí)代，物理網(wǎng)絡(luò )中從TOR到服務(wù)器網(wǎng)卡，一路黑盒，無(wú)法做到包括DAC在內的“端到端”調試，而最好選用界面信號相對標準化的AOC即插即用。如果要使用DAC，則面臨“黑盒交換機”和各種類(lèi)型網(wǎng)卡的組合適配工作在整個(gè)生命周期內都可能無(wú)法收斂，顯然對追求“穩定”和“運營(yíng)邊際效應”的數據中心網(wǎng)絡(luò )運營(yíng)是無(wú)法接受的。

  2. DAC長(cháng)度無(wú)法滿(mǎn)足各種IDC環(huán)境部署需求的問(wèn)題：DAC因直接透傳高速電信號，所以長(cháng)度受限于電信號損耗預算，通常在10Gbps下不超過(guò)7m，25Gbps下不超過(guò)5m，56Gbps下不超過(guò)3m，112Gbps下不超過(guò)2m，而AOC則通?？梢宰龅阶铋L(cháng)30m到100m。

  在國內大型互聯(lián)網(wǎng)公司的數據中心快速發(fā)展的早期，以租用機房為主，機柜功耗上限、機房散熱能力、機柜布線(xiàn)通道等限制條件各不相同。TOR通常要跨多個(gè)機柜來(lái)接入服務(wù)器，并且還要照顧不同出線(xiàn)方向的服務(wù)器，造成服務(wù)器至TOR的接入距離在大部分場(chǎng)景下都超過(guò)DAC能提供的最長(cháng)距離，只好選用更長(cháng)的AOC來(lái)支持。

  這一切，隨著(zhù)2018年阿里云基礎設施開(kāi)始進(jìn)行數據中心網(wǎng)絡(luò )自研、IDC機柜自研及超大規模自建機房的投入運營(yíng)發(fā)生了改變，在這場(chǎng)盛宴中，阿里把DAC這盤(pán)“甜點(diǎn)”端上了臺前。

  02 數據中心網(wǎng)絡(luò )白盒化 開(kāi)出DAC應用之花

  2018年開(kāi)始，阿里開(kāi)啟白盒交換機+自研DAC的研發(fā)，確立了“以終為始”的原則：以最終大規模部署時(shí)的網(wǎng)絡(luò )穩定性、運營(yíng)效率為導向進(jìn)行總體設計。雖然“黑盒”下也存在DAC使用的技術(shù)可行性，但“白盒”才給大規模運營(yíng)提供了根本保障。

  圖5：DAC在“白盒”交換機下與NIC互聯(lián)

  DAC互聯(lián)場(chǎng)景下，實(shí)際上兩端芯片（MAC到MAC或者PHY到PHY）之間是一個(gè)完整的電通道。

  TOR交換機+DAC+NIC每一種連接組合的總loss不同，需要TOR ASIC針對每一種loss設置合適的Tx EQ均衡參數來(lái)確保接收端的BER滿(mǎn)足無(wú)差錯傳輸的需求，組合情況非常多。

  交換機“黑盒”下，如果使用DAC，問(wèn)題就來(lái)了：

  首先，新業(yè)務(wù)需求（網(wǎng)卡、線(xiàn)纜）要依賴(lài)設備廠(chǎng)商提供端口參數更新并在線(xiàn)升級，這對網(wǎng)絡(luò )運營(yíng)的穩定性和規模部署效率是極大的挑戰。

  其次，若妥協(xié)使用Link Training模式，可以讓99%以上的鏈路工作，但是在百萬(wàn)級別規模的鏈路數量里，這個(gè)可靠性量級會(huì )給運維帶來(lái)沉重的負擔。

  阿里云自研白盒交換機和自研DAC是如何解決上述DAC應用問(wèn)題的？

  1. 白盒下收斂端到端loss組合。阿里在交換機硬件設計時(shí)便考慮了交換機端口和內部鏈路的使用規劃，設計用于下聯(lián)服務(wù)器的端口通道loss較小且loss分布范圍較窄，并且同時(shí)在自研DAC的定義中，基于IEEE 802.3相關(guān)規范，針對不同長(cháng)度的DAC，通過(guò)使用合適的線(xiàn)徑，收窄自研DAC的總體loss范圍。最后根據網(wǎng)卡通道的設計特征，在總通道loss計算和仿真中預留合理和足夠的網(wǎng)卡通道loss budget。這些設計，并不用付出額外的成本代價(jià)。

  2. 白盒下選用固定均衡參數?；谝陨显O計，總體互聯(lián)通道loss的收窄和可控，使得在實(shí)際中可以選用一套固定的均衡參數就可以讓所有互聯(lián)組合都能得到裕量足夠的BER性能，這套參數并不是針對每種組合都是最優(yōu)的參數，但是BER足夠，且鏈路穩定可靠。從而避免使用Link Training模式，讓大規模網(wǎng)絡(luò )運營(yíng)具備邊際效應。

  至此，這只是DAC規?；渴鹪O計中最基本的一部分，如何快速落地、讓DAC在IDC真正用得“爽”，還要解決機柜集成、交付、運維的問(wèn)題，這是更關(guān)鍵的一步。

  03 基礎設施協(xié)同創(chuàng )新 鑄成阿里DAC規模部署之路

  就在2019年阿里數據中心大規模成功部署DAC之后，業(yè)內迅速出現了一個(gè)新詞——MOR（Middle of Rack），用來(lái)戲稱(chēng)阿里巴巴將TOR（Top of Rack）中置的做法。這個(gè)戲稱(chēng)在某個(gè)層面卻很形象地說(shuō)明了阿里在IDC機柜級別做出的一些獨具匠心、因地制宜的創(chuàng )新。

  阿里云基礎設施通過(guò)整體設計來(lái)克服DAC固有的種種短板，讓DAC的可規模應用轉化為穩定性、能耗、成本、交付和運營(yíng)效率等方面的整體收益。

  首先，打破常規，TOR中置。TOR不一定必須放在Top。阿里將接入層交換機置于服務(wù)器機柜中間U位，單柜內交換機到最遠服務(wù)器的布線(xiàn)距離就縮短為了機柜高度的一半，單柜內最長(cháng)僅需不超過(guò)2m。阿里第一代自研交換機甚至設計了后向前、前向后兩種散熱風(fēng)流方向，來(lái)支持不同出線(xiàn)方向的服務(wù)器，從而做到機柜內同側布線(xiàn)，保證DAC長(cháng)度需求最小化。后續的演進(jìn)中，阿里已經(jīng)將服務(wù)器的出線(xiàn)方向統一為前側，交換機型號歸一。

圖6：傳統機柜（左）TOR頂置vs阿里自研機柜（右）TOR中置

  其次，因地制宜，機柜創(chuàng )新。因為不同業(yè)務(wù)類(lèi)型的服務(wù)器配置不同，除單柜外，仍然會(huì )有交換機跨兩柜接入服務(wù)器的需求。因此在交換機中置的同時(shí)，全新的機柜設計將跨柜理線(xiàn)的通道設計在了機柜中部（傳統機柜跨柜理線(xiàn)需要從柜頂的弱電孔穿出穿入）用于穿線(xiàn)。這樣的話(huà)，跨兩柜的交換機到服務(wù)器線(xiàn)纜最長(cháng)需求2.5m便可以滿(mǎn)足；還有一點(diǎn)考慮：2.5m的長(cháng)度需求在56G-PAM4可以輕松滿(mǎn)足，甚至未來(lái)112G-PAM4速率也有機會(huì )做到。

圖7：傳統機柜（左）雙并柜布線(xiàn)vs阿里自研機柜（右）雙并柜布線(xiàn)SERVER

  第三，布線(xiàn)標準化，助高效集成交付。將DAC從0.75m開(kāi)始到2.5m之間以0.25m步長(cháng)定義DAC長(cháng)度規格，將中置交換機到機柜各個(gè)U位服務(wù)器的布線(xiàn)規則進(jìn)行標準化定義，線(xiàn)纜長(cháng)度剛剛夠，而無(wú)需額外的彎折和盤(pán)線(xiàn)，使得整機柜集成和交付的效率大大提升，同時(shí)也盡量避免DAC過(guò)度彎折帶來(lái)的信號完整性性能劣化。

  第四，DAC自研創(chuàng )新，解現場(chǎng)運維之憂(yōu)?？紤]到IDC運維習慣了多年的AOC較細、較軟的布線(xiàn)和運維體驗，阿里在自研DAC的設計中特別使用了尼龍編織外被取代傳統的PVC材質(zhì)的外被，使得第一代25G DAC的彎折半徑和柔軟度較標準商用DAC大幅提升，成功幫助IDC現場(chǎng)運維從習慣已久的AOC過(guò)渡到DAC。

圖8：阿里自研25G DAC（左）和200G 1分2 DAC（右）

  隨著(zhù)自研交換機和DAC，以整機柜集成的形式在阿里云數據中心快速規?；渴?，阿里云數據中心DAC在2019年起的一年多時(shí)間內，率先達到了百萬(wàn)量級的部署規模。

  04 開(kāi)放共贏(yíng) 結出國內DAC應用累累之果

  2020年，在阿里巴巴數據中心部署DAC累積百萬(wàn)規模、運營(yíng)一年之后，由阿里巴巴牽頭，和騰訊、百度等國內大型數據中心用戶(hù)合作，聯(lián)合立訊、兆龍等國內DAC廠(chǎng)商代表，在ODCC發(fā)布了《下一代數據中心高速銅纜技術(shù)白皮書(shū)》。

《白皮書(shū)》

  詳細闡述了DAC在數據中心高速互聯(lián)中的應用技術(shù)，以及從25G-NRZ至56G-PAM4演進(jìn)的方案。

  阿里巴巴以自己的大規模部署、運營(yíng)結果，給國內用戶(hù)們帶來(lái)了DAC應用的最佳實(shí)踐經(jīng)驗和信心。隨后幾年，越來(lái)越多的國內大型數據中心都陸續將DAC作為物理網(wǎng)絡(luò )“第一段高速公路”的首選，越來(lái)越多的合作伙伴也相繼進(jìn)入DAC的研發(fā)、制造、供應和集成。

  從2019年至今，國內數據中心部署DAC的數量已累計超過(guò)500萬(wàn)根，而這背后，帶來(lái)的是每年數以?xún)|計的成本降低和數千萬(wàn)度電力的能源節約。

  05 從零到百萬(wàn) DAC規?；渴馂?A href="http://joq5k4q.cn/site/CN/Search.aspx?page=1&keywords=%e6%95%b0%e6%8d%ae%e4%b8%ad%e5%bf%83&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">數據中心帶來(lái)的改變

  DAC在數據中心內的大規模部署使用，帶來(lái)的并不只有最直觀(guān)的成本和能耗收益，還有對數據中心網(wǎng)絡(luò )架構設計、演進(jìn)、業(yè)務(wù)性能的影響。如果從整個(gè)云基礎設施的角度來(lái)看，后者甚至具有更重要的意義。

  一、與業(yè)務(wù)松耦合，讓網(wǎng)絡(luò )輕松演進(jìn)

  1. 網(wǎng)絡(luò )追求單GB成本紅利，演進(jìn)較快。數據中心網(wǎng)絡(luò )商用芯片的帶寬基本上維持著(zhù)每3年翻一倍的演進(jìn)速度，數據中心網(wǎng)絡(luò )也會(huì )在第一時(shí)間同步演進(jìn)，以追求單GB網(wǎng)絡(luò )帶寬成本的下降紅利，以及新特性的應用。

  2. 業(yè)務(wù)長(cháng)尾且多樣，迭代不同步。在同一個(gè)數據中心網(wǎng)絡(luò )內，同期通常會(huì )有不同速率的業(yè)務(wù)接入需求，比如在200G網(wǎng)絡(luò )下，主力接入是50G服務(wù)器，但同時(shí)仍然會(huì )有25G和100G服務(wù)器業(yè)務(wù)的接入需求。

  3. 利用多種形態(tài)的線(xiàn)纜，使數據中心網(wǎng)絡(luò )的演進(jìn)與業(yè)務(wù)迭代松耦合。DAC的使用，非常容易實(shí)現各種特殊形態(tài)線(xiàn)纜，因為不同形態(tài)的DAC在主體上都是使用相同的高速裸線(xiàn)、制造工藝。DAC提供的低成本、通用性、靈活性、快速交付等特性，能夠高效地支持不同速率的業(yè)務(wù)接入，讓數據中心網(wǎng)絡(luò )能夠輕松、快速地演進(jìn)獲得帶寬紅利和新特性。

  阿里云數據中心100G網(wǎng)絡(luò )架構中，采用25G和100G (NRZ）兩種直連DAC，TOR則對應有25G和100G兩種型號。

  阿里云數據中心200G網(wǎng)絡(luò )架構中，進(jìn)一步將TOR收斂為一款設備，而使用Breakout形態(tài)如200G 1分2，100G 1分4，50G 1分2等多種DAC線(xiàn)纜，來(lái)支持從25G到100G（PAM4）不同速率服務(wù)器接入。網(wǎng)絡(luò )則快速從100G迭代到200G。

  未來(lái)阿里云數據中心網(wǎng)絡(luò )的迭代和演進(jìn)，也將受益于此。

  二、穩定性提升，延時(shí)降低

  1. 在普通風(fēng)冷環(huán)境中，DAC的故障率同比AOC降低1個(gè)數量級以上。由于DAC零功耗，不含有電、光芯片等有源器件，不存在因激光器老化、半導體電應力等導致的失效因子。在業(yè)務(wù)運行中DAC體現了非常高的穩定性，網(wǎng)絡(luò )運營(yíng)輕量化，用戶(hù)網(wǎng)絡(luò )體驗“絲般順滑”。

  2. 在浸沒(méi)式液冷環(huán)境中，DAC更是體現了簡(jiǎn)單、可靠的特點(diǎn)。DAC內不含有激光器、光波導等對液體敏感器件，不必采用如光模塊所必須的密封工藝，從而極大降低了相應的成本，提高了可靠性。阿里數據中心DAC通過(guò)對材料選用、線(xiàn)纜信號完整性性能設計，采用一款DAC同時(shí)支持風(fēng)冷和浸沒(méi)式液冷環(huán)境。

  3. DAC提供極低的延時(shí)性能。DAC和光纖線(xiàn)纜本身均會(huì )有大約5ns/m的傳輸延時(shí)，但是光模塊則因重新時(shí)鐘恢復（CDR），甚至需要基于DSP的信號均衡技術(shù)，引入了額外的信號延時(shí)。在A(yíng)I計算、資源池化等場(chǎng)景下，延時(shí)需要格外的控制。PCIE Gen6在64G-PAM4的速率下物理層協(xié)議中為了控制延時(shí)僅僅留了10ns以?xún)鹊腇EC延時(shí)開(kāi)銷(xiāo)預算，而光模塊DSP-based re-timer芯片就會(huì )帶來(lái)幾十納秒的延時(shí)（收+發(fā)）。

  三、節能減排，降本增效

  能耗和采購成本的降低，是從AOC切換到DAC后帶來(lái)的最直觀(guān)的收益。尤其是當匹以數據中心百萬(wàn)級別的使用數量時(shí)，數字更令人吃驚。

  以100萬(wàn)根25G直連DAC為例：

  OPEX：每年節省的電力消耗為>1千萬(wàn)度；

  CAPEX：每100萬(wàn)根25G DAC節省>1億元。

  此外，DAC無(wú)需建立如光模塊運營(yíng)中所需的對激光器、模塊溫度等監控所需的系統，無(wú)需關(guān)注光纖端面潔凈度等現場(chǎng)問(wèn)題。在數據中心內服務(wù)器部署規模爆發(fā)式增長(cháng)的同時(shí)，DAC的應用幫助IDC現場(chǎng)運維、數據中心網(wǎng)絡(luò )運營(yíng)效率明顯提升。

  06 展望未來(lái)

  DAC以銅為傳輸媒介，本質(zhì)上決定了無(wú)論物理網(wǎng)絡(luò )通過(guò)提高單通道速率還是增加并行通道數量的方式來(lái)升級鏈路帶寬，DAC的應用都會(huì )受到嚴重挑戰?！案恍摇钡氖?，這兩種方式往往是同時(shí)或交替進(jìn)行的。

  一、挑戰：越來(lái)越短，越來(lái)越粗

  銅纜傳輸線(xiàn)的損耗在3~6dB/m這個(gè)級別，隨著(zhù)單通道速率的不斷增長(cháng)，能支持的DAC長(cháng)度將會(huì )越來(lái)越短。如果能支持的最長(cháng)長(cháng)度達不到1.5m~2m，那就失去了DAC應用的大部分意義。

  DAC中每一路銅傳輸線(xiàn)的直徑在毫米級別（光纖則在微米級別），4通道→8通道→16通道的scale out使得DAC的直徑幾乎成倍地增加。

  所以在網(wǎng)絡(luò )速率和帶寬不斷提升的過(guò)程中，DAC在機柜內布線(xiàn)、可連接長(cháng)度都有非常大的挑戰。

  二、DAC的未來(lái)

  隨著(zhù)物理網(wǎng)絡(luò )單通道速率邁向224Gbps，銅媒介電通道面臨著(zhù)非常大的挑戰。但是在高級Serdes技術(shù)的加持下，在材料和工藝不斷進(jìn)步中，使用DAC來(lái)滿(mǎn)足數據中心超短距網(wǎng)絡(luò )互聯(lián)仍然是可實(shí)現且意義重大的。

  1. 材料和工藝演進(jìn)：高速線(xiàn)纜的材料（包括絕緣介質(zhì)材料和導體材料）性能以大約每三年20~30%的速度提升，而信號速率則是每三年翻一倍。當前的研究中，一些新的DAC材料工藝和技術(shù)也在不斷地涌現，例如在不降低銅導體直徑的情況下，通過(guò)新材料和工藝降低絕緣層的厚度，使得總體線(xiàn)徑較??；還有比如通過(guò)成纜方式的改變，在同樣線(xiàn)徑下使得線(xiàn)纜更軟更易彎折。

  2. 新的應用需求：隨著(zhù)AI計算的迅猛增長(cháng)，AI訓練集群內的互聯(lián)擴展需要高帶寬、低延時(shí)。另外計算、存儲資源池化和擴展，也在提出對低延時(shí)互聯(lián)技術(shù)標準化的需求。DAC的高穩定、低延時(shí)的特性可以很好地滿(mǎn)足這些領(lǐng)域的需求。

  3. DAC長(cháng)度之上的潛在方案：從通信的邏輯上看很簡(jiǎn)單，“電中繼”或者“電轉光”，滿(mǎn)足超過(guò)無(wú)源DAC長(cháng)度極限的需求。

  有源銅纜。通過(guò)在DAC的模塊中加入Re-driver或Re-timer，來(lái)“中繼”電信號以達到延長(cháng)高速電信號傳輸距離（變長(cháng)），或同等距離下減小線(xiàn)徑（變細）的目的。其成本和功耗介于無(wú)源DAC和有源AOC之間，在一定的速率范圍內是個(gè)不錯的選擇。但是隨著(zhù)速率上升到112G-PAM4以后，需要有CDR功能的re-timer（甚至DSP-based），后者則又帶來(lái)和光模塊相當的傳輸延時(shí)和功耗代價(jià)。

  Direct-drive光模塊。其模塊中不使用CDR（且不使用DSP-based均衡器）從而同比大大降低了傳輸延時(shí)，代價(jià)是強依賴(lài)于鏈路兩端的芯片來(lái)提供對信號的補償和均衡，兩端設備內的通道損耗預算被縮減。當前業(yè)內的一些廠(chǎng)商在進(jìn)行基于112G-PAM4速率的Direct-drive光模塊研發(fā)，生態(tài)處于早期階段。

  DAC技術(shù)，只是數據中心物理網(wǎng)絡(luò )互聯(lián)技術(shù)中的一個(gè)小部分，其所帶來(lái)的成本、能效、穩定性、網(wǎng)絡(luò )性能方面的貢獻是非常明顯的；同時(shí)，其局限性和挑戰也一樣明顯。

  面對未來(lái)高性能、可預期數據中心網(wǎng)絡(luò )的發(fā)展需求，我們需要的，一定是基礎設施整體的創(chuàng )新。