騰訊全自研200G/400G網(wǎng)絡(luò )的創(chuàng )新與實(shí)踐

  騰訊云業(yè)務(wù)的高速發(fā)展不但推動(dòng)了云上層架構的創(chuàng )新，也對基礎網(wǎng)絡(luò )提出了更高的要求。一方面，池化讓云資源的獲取突破了服務(wù)器的邊界，大量的數據流往返于服務(wù)器間，加大了網(wǎng)內的數據傳輸量。另一方面，隨著(zhù)存儲介質(zhì)、計算部件的性能提升，使得網(wǎng)絡(luò )性能陡然成為新的瓶頸。在此趨勢下，云基礎網(wǎng)絡(luò )向大規模、高帶寬、低延遲的方向演進(jìn)的訴求更加迫切。如今，騰訊網(wǎng)絡(luò )平臺部通過(guò)對自研交換機平臺(TONS)以及開(kāi)放光平臺(TOOP)的產(chǎn)品升級，構建了全面自研的100G服務(wù)器接入、200G匯聚、400G數據中心互聯(lián)的網(wǎng)絡(luò )體系。

  如果把當前的網(wǎng)絡(luò )速率迭代比作交通路網(wǎng)升級，那么TONS與TOOP不光從硬件上拓寬了道路，更從軟件上解決了復雜的交通管理難題。

  其中，TONS針對DCN海量交付以及高速率接入需求，在交換機硬件上具備部件級成本透明、樂(lè )高式模塊化設計、高精度狀態(tài)采集以及極簡(jiǎn)無(wú)背板框架等特點(diǎn)，打造了高可控、高質(zhì)量、低成本的交換機產(chǎn)品平臺。在軟件上通過(guò)基于開(kāi)源SONiC深度自研的TCSOS，不光提供了自動(dòng)化、智能化的可運營(yíng)能力，更結合可編程芯片在高性能的基礎上，實(shí)現高靈活性。

  而TOOP針對DCI互聯(lián)場(chǎng)景的特點(diǎn)，也從軟硬件層面對波分系統進(jìn)行了顛覆性創(chuàng )新。首先對波分系統做減法，極大的降低了系統復雜度，通過(guò)三個(gè)層面的解耦(光電解耦，波道解耦，相干器件解耦)，實(shí)現了系統交付成本的大幅降低。TOOP硬件產(chǎn)品在DCI盒式產(chǎn)品中首次引入了可切換分段增益光放技術(shù)與Flex-grid技術(shù)，實(shí)現了極簡(jiǎn)運營(yíng)的能力 。在軟件上，實(shí)現1秒級全量PM telemetry上傳，結合控制器軟件高速迭代，全面打造高度自動(dòng)化的光網(wǎng)絡(luò )系統。

  騰訊自研交換機平臺——TONS

  1.高可控&低成本的硬件設計

  TCS8400與 TCS9400的硬件發(fā)布，宣告了其作為騰訊下一代數據中心網(wǎng)絡(luò )架構的主要載體，提供了100G服務(wù)器接入能力以及200G/400G的匯聚能力，同時(shí)兼顧端到端的最優(yōu)成本、持續供應、可靠性以及可運維能力，旨在構建高敏捷、最優(yōu)性能、低成本、自服務(wù)的閉環(huán)硬件生態(tài)。集中體現在：

TCS8400 & TCS9400前視圖

      自主可控的樂(lè )高式部件設計

  新一代交換機硬件平臺由騰訊自主設計，擁有自主產(chǎn)權，可以方便地在ODM廠(chǎng)轉產(chǎn)，使得各廠(chǎng)商提供的產(chǎn)品做到了硬件歸一，網(wǎng)絡(luò )操作系統即插即用。騰訊自研交換機采用了樂(lè )高式的部件化設計，將整機電路解耦成不同的模塊與部件。其中CPU扣/底板、BMC扣板、MAC主板等模塊來(lái)自于騰訊自研硬件通用平臺，通過(guò)繼承這些成熟應用，降低了設計、生產(chǎn)難度及風(fēng)險。部件選型時(shí)更多考慮騰訊數據中心良好的溫濕度環(huán)境，選用了最優(yōu)性?xún)r(jià)比部件，如PSU選用的CRPS電源等。最終讓海量供應有保障的同時(shí)，達到成本最優(yōu)。

TCS9400部件拆解圖

       極簡(jiǎn)無(wú)背板去PHY設計

  傳統交換機方案多借助PHY芯片來(lái)提升SI的裕量，但是PHY芯片的引入在增加整機成本的同時(shí)、也加大了功耗以及端口link-up時(shí)間，最終拉低了設備MTBF。TCS9400的產(chǎn)品形態(tài)為128*200G/64*400G端口，其中速率可配置。在設計時(shí)利用多維空間盡量縮短了走線(xiàn)距離，在無(wú)PHY的情況下滿(mǎn)足了SI要求， 將MTBF提升30%，單Gbit功耗降低10%，做到了硬件架構極簡(jiǎn)，成本最低。

  TCS9400整機4RU高度，由于無(wú)PHY方案因為SerDes較多，要在同一平面使用多個(gè)跨板連接器，存在一定的容差風(fēng)險。通過(guò)對比不同連接器3D圖形間隙，結合其他連接器的容差參數計算方法，在結構件設計、定位設計、裝配方案設計上做了針對性的論證和改進(jìn)。同時(shí)對連接器測試指標，環(huán)溫壓力，測試周期等進(jìn)行修訂并導入。經(jīng)過(guò)試驗板實(shí)際測試驗證，改進(jìn)方案可以提高容差能力，排除容差風(fēng)險。

ASIC芯片I/O封裝內走線(xiàn)長(cháng)度對損耗的影響

  TCS9400的SI是當下高速設計領(lǐng)域的頂級挑戰，兼有512路56Gbps PAM4信號、700A大電流，最高密度BGA等業(yè)內難題，因此SI的設計和仿真毫無(wú)疑問(wèn)是解決問(wèn)題的重中之重。SI設計不但考慮了Chip Ball to IO Connector Pin-Channel的設計優(yōu)化，還考慮到了芯片內不同Die走線(xiàn)長(cháng)度的影響。把系統裕量損耗升至25%，足以應對任何不利因素。

串擾優(yōu)化仿真及實(shí)測眼圖

  在串擾優(yōu)化設計中，針對跨板連接器這一最大串擾源，通過(guò)TX/RX隔離避免了系統近端串擾，全部串擾源最優(yōu)化，將Fanout Via Crosstalk控制在-57db下。所有端口的一致性測試結果對比IEEE規范眼高均有60%以上的裕量。

  高精度數據采集

  隨著(zhù)交換機接口帶寬的快速增加，傳統上基于交換機CPU的流量采集，BFD保護等技術(shù)，面臨著(zhù)精度低、成本高的問(wèn)題。為此我們在交換機內部引入了FPGA，通過(guò)軟硬協(xié)同的方式提高業(yè)務(wù)信息以及網(wǎng)元健康情況的采集精度，為業(yè)務(wù)的高性能訴求提供給了高可用保障。

  FPGA通過(guò)兩個(gè)10GE接口與交換芯片連接，構建高帶寬和低時(shí)延的報文接收和發(fā)送通道，實(shí)現大吞吐的流量采樣、流量注入等功能。FPGA和交換芯片通過(guò)CPU PCIe RC橋可以進(jìn)行PCIe End to End通信，能夠在CPU無(wú)感的情況下直接與交換芯片交互，實(shí)時(shí)獲取到芯片內部狀態(tài)，同時(shí)降低了輪詢(xún)數據對CPU性能的消耗。

高精度數據采集FPGA

  彈性設計、敏捷安裝

  TCS9400的128個(gè)業(yè)務(wù)口對稱(chēng)均勻分布，可靈活實(shí)現200G/400G端口組合，方便布線(xiàn)和網(wǎng)絡(luò )架構設計，除PSU接口外，其余端口均在前面板，運維操作更便捷。側面抬手采用航空級壓鑄鋁材料，造型符合人體工程設計，更方便安裝使用。前面板增加兩個(gè)拉手，拆卸時(shí)可以通過(guò)拉手將設備從機架中拉出，實(shí)現快速替換維修。同時(shí)，線(xiàn)上設備可以無(wú)感知CPLD邏輯進(jìn)行熱升級。

通過(guò)更換端口封裝支持不同速率

  為了匹配TCS9400交換機的快速安裝，我們開(kāi)發(fā)了光纖理線(xiàn)架。理線(xiàn)架位于交換機上方，光纖沿垂直方向出線(xiàn)到上方理線(xiàn)架，內部設計了導線(xiàn)槽和繞柱，保證光纖布線(xiàn)滿(mǎn)足最小折彎半徑。光纖從理線(xiàn)器左右兩邊出線(xiàn)到機柜布線(xiàn)槽，通過(guò)理線(xiàn)器實(shí)現了隱藏式布線(xiàn)，有效保護光纖的同時(shí)，減少了人為對光纖的誤動(dòng)作。

  2.智能化&高性能的軟件設計

  騰訊交換機硬件平臺搭載了基于開(kāi)源SONiC深度自研的操作系統。與騰訊網(wǎng)絡(luò )建模系統相輔相成，構建了智能化的運維體系。在200G/400G網(wǎng)絡(luò )時(shí)代，TCS OS持續改進(jìn)，貼合海量規模運維以及高性能的需求，讓網(wǎng)絡(luò )擁有了更高的升級效率以及更強的可編程能力。集中體現在：

  數據模型驅動(dòng)的全自動(dòng)化運營(yíng)能力

  Tencent YANG Model通過(guò)將網(wǎng)絡(luò )特性抽象成結構化數據，為上層應用提供了靈活的可編程能力，加速應用產(chǎn)能的同時(shí)，也解放了上層的設計思想。TONS天然支持Tencent YANG Model，通過(guò)JSON(Tencent YANG)到JSON(Sonic YANG)的映射，將翻譯層下沉至OS側，快速支持配置與狀態(tài)模型的更新，解決了建模系統中“翻譯難”的問(wèn)題。同時(shí)用gRPC框架替代傳統CLI下發(fā)通道，提高配置下發(fā)與提取性能。

  在該框架下，針對TONS的網(wǎng)絡(luò )架構設計以及建設運營(yíng)正式邁向全自動(dòng)化。相關(guān)應用主要有：

  1) 快速故障自愈：利用TCSOS軟件快速迭代的優(yōu)勢，從網(wǎng)元級，鏈路級，操作系統以及芯片級四個(gè)維度填充了當前的監控盲區。并結合gRPC毫秒級下發(fā)能力，實(shí)現快速故障自愈。

  2) 配置自動(dòng)審計：通過(guò)每日的數據拉取以及對比，清晰的感知配置在現網(wǎng)的變化以及與架構標準的偏差。

  3) 基于可編程的配置修改自動(dòng)化：當網(wǎng)絡(luò )架構的標準配置用YANG模型來(lái)設計時(shí)，可以利用層次化可復用的代碼化思想來(lái)加速設計效率，當配置需要變更時(shí)，結合配置審計，將與配置標準的偏差自動(dòng)推送到變更平臺實(shí)施，整個(gè)流程與軟件發(fā)布異曲同工。

  4) 基于網(wǎng)絡(luò )應用商店的軟件升級自動(dòng)化：在快速迭代的云數據中心，對數以萬(wàn)計的網(wǎng)絡(luò )設備進(jìn)行頻繁的軟件升級，長(cháng)久以來(lái)給運營(yíng)帶來(lái)了巨大挑戰，我們將軟件功能的發(fā)布與更新提升至以周為單位，同時(shí)避免對網(wǎng)絡(luò )的可靠性和安全性帶來(lái)影響。

  相對于OS版本，應用的更新顯得更為頻繁，為了便于對線(xiàn)上設備的應用進(jìn)行管理和升級，騰訊自研交換機引入了"網(wǎng)絡(luò )應用商店"，提升運營(yíng)部署效率。

  其過(guò)程為:

  應用開(kāi)發(fā)完之后，通過(guò)版本發(fā)布系統自動(dòng)推送到版本倉庫，并自動(dòng)創(chuàng )建下載任務(wù)。

  應用商店收到下載任務(wù)之后，根據任務(wù)信息批量通告現網(wǎng)設備進(jìn)行應用下載。

  可以看到引入應用商店之后，一旦版本發(fā)布，便自動(dòng)更新到關(guān)聯(lián)設備上。運營(yíng)人員部署應用時(shí)無(wú)需進(jìn)行版本下載，只需下發(fā)升級指令即可，這樣節省掉最耗時(shí)的下載步驟。整個(gè)部署過(guò)程和手機應用下載流程很類(lèi)似，應用自動(dòng)更新至最新版本，然后由用戶(hù)來(lái)決定是否更新，并根據授權級別判斷是否安裝。

網(wǎng)絡(luò )應用商店

  面向高性能網(wǎng)絡(luò )的數據面可編程能力

  進(jìn)入到200G/400G網(wǎng)絡(luò )時(shí)代，上層業(yè)務(wù)與控制軟件對底層網(wǎng)絡(luò )的特殊需求日益增多，如高帶寬、低時(shí)延、大象流處理、小包線(xiàn)速、高精度流控等。DPDK相對優(yōu)秀，可以達到很高的包轉發(fā)速率，但需通過(guò)多服務(wù)器、多核負載均衡實(shí)現，傳統網(wǎng)絡(luò )設備雖然可以提供高性能網(wǎng)絡(luò )傳輸，但其轉發(fā)邏輯被固化，難以實(shí)現靈活的網(wǎng)絡(luò )轉發(fā)控制。

  搭載新一代Trident 4可編程交換芯片的自研交換機TCS-PS，向上兼容多種業(yè)務(wù)組件及控制器，向下屏蔽底層可編程硬件差異(可編程交換芯片、FPGA等)，不僅支持交換機的基礎網(wǎng)絡(luò )功能，還可以定制特殊數據面轉發(fā)邏輯，性能與靈活性完美結合，可以?xún)?yōu)雅適配更多的業(yè)務(wù)場(chǎng)景。例如，在骨干網(wǎng)及專(zhuān)線(xiàn)接入點(diǎn)部署TCS-PS，實(shí)現基于租戶(hù)及五元組的精細化流量調度及限速能力，快速解決流量熱點(diǎn)，有效提高網(wǎng)絡(luò )利用率;利用TCS-PS對云網(wǎng)關(guān)場(chǎng)景服務(wù)器集群進(jìn)行流量卸載加速，解決大象流處理、小包線(xiàn)速、前置交換機HASH不均等軟轉發(fā)性能問(wèn)題;通過(guò)TCS-PS在安全防護及流量分析場(chǎng)景細分業(yè)務(wù)的差異化應用，大幅減少其后端分析服務(wù)器集群的帶寬及計算壓力，成倍降低安全防護與流量分析的成本。

  02 騰訊開(kāi)放光平臺——TOOP

  為了匹配TONS在數據中心園區提供的200G/400G能力，用于數據中心間互聯(lián)的開(kāi)放光網(wǎng)絡(luò )平臺(TOOP)也進(jìn)行了2.0版本升級迭代。升級后光層OPC與電層TPC各自分別支持了柔性光網(wǎng)絡(luò )能力與基于可插拔方案的單波400G產(chǎn)品。其中，在L0層OPC-4光層產(chǎn)品首次在DCI層面引入了Flex-grid功能，賦予OPC-4光層產(chǎn)品支持向未來(lái)的平滑演進(jìn)能力，即無(wú)論是當前的400G還是未來(lái)的單載波800G/1600G，OPC-4均無(wú)需更換硬件可直接支持任意速率波長(cháng)接入能力;而在L1層，TPC-4電層產(chǎn)品通過(guò)深化解耦思路，將開(kāi)放解耦進(jìn)一步下探至相干器件層面，即T2X4C8電層板卡支持多廠(chǎng)商DCO混合部署，打破壟斷增加核心成本器件的競爭力，進(jìn)一步降低了DCI帶寬飛速增長(cháng)的成本壓力。

波長(cháng)通道劣化快速辨識

  TOOP旨在通過(guò)技術(shù)創(chuàng )新來(lái)降低CapEx與OpEx。我們在設計400G做了一些微創(chuàng )新。

  電芯片層面加了性能預判機制

  相干系統通過(guò)強大的FEC(前向糾錯編碼)技術(shù)實(shí)現對傳送的bit進(jìn)行錯誤修正，FEC編碼算法就像微信的語(yǔ)音轉換文字功能，其具備一定的口音糾錯能力。進(jìn)行語(yǔ)音文字轉換時(shí)，算法會(huì )根據語(yǔ)意來(lái)判斷是否修正口音帶來(lái)的干擾。當你的口音很重或者引入過(guò)多方言時(shí)，超過(guò)算法的容忍上限時(shí)其轉換也會(huì )出錯。如同我們可以用轉換正確率來(lái)評估普通話(huà)標準與否一樣，我們可以根據Pre-fec前向糾錯誤碼率來(lái)評估系統的性能情況。TOOP通過(guò)CFP2-DCO的Pin37 管腳來(lái)上報pre-fec前向糾錯編碼超限的事件，實(shí)現了對性能劣化事件的提前關(guān)注。當DCO檢測到Pre-fec越過(guò)設定門(mén)限，即拉高Pin37管腳，為業(yè)務(wù)的無(wú)損切換提供可能性。

  業(yè)內首創(chuàng )的DSP收斂計時(shí)上報，實(shí)現業(yè)務(wù)受損時(shí)間監控

  保護路徑切換的業(yè)務(wù)受損時(shí)間精準計時(shí)

  引入了DCO模塊收斂計時(shí)功能，如上圖所示，TOOP系統可以記錄光路倒換過(guò)程的持續時(shí)間，包括光保護(OP)板卡的光開(kāi)關(guān)切換時(shí)間與DCO模塊的業(yè)務(wù)中斷時(shí)間。我們定義了DCO模塊的業(yè)務(wù)中斷計時(shí)功能，定義0x910e(高位)與0x910f(低位)寄存器內儲存了DSP收斂時(shí)間，其十進(jìn)制值即收斂時(shí)間，單位us，上圖中的測試結果為4971us=4.971ms，這樣的數據協(xié)助我們診斷系統的性能問(wèn)題。例如，當某次保護切換事件發(fā)生時(shí)，OP開(kāi)關(guān)切換時(shí)間較短，而DSP的收斂時(shí)間較久，則說(shuō)明線(xiàn)路性能余量不足，在光信號劣化至光開(kāi)關(guān)切換門(mén)限值之前DSP已經(jīng)產(chǎn)生了誤碼。

  DSP收斂時(shí)間這個(gè)功能讓我們第一次在ms級尺度上對一個(gè)瞬態(tài)進(jìn)行描述，目的是減少上層業(yè)務(wù)的感知，進(jìn)一步優(yōu)化四纖三路由系統，讓我們打造更加可靠且穩定的底層系統。

  DSP 色散掃描范圍自動(dòng)配置

  當前400G場(chǎng)景下，因光纜中斷而引起的倒換事件對業(yè)務(wù)的影響時(shí)間由原先的100ms級別(業(yè)務(wù)層面丟失時(shí)間)，降低到了10ms級別(業(yè)務(wù)層面丟失時(shí)間)，從而降低光纜中斷引起的業(yè)務(wù)損失。

  在線(xiàn)路開(kāi)通時(shí)，OPC-4的OTDR會(huì )探測線(xiàn)路實(shí)際距離(主備用路由收發(fā)雙芯分別探測)，通過(guò)距離配置DSP的色散掃描范圍，由默認的-20000～2000ps，配置成符合主備用光纜距離的實(shí)際值，例如-5000 ～ 2000ps，得益于DSP的算法優(yōu)化與色散掃描范圍的自動(dòng)配置，通過(guò)減少DSP的resync的色散搜索時(shí)間，進(jìn)一步提升保護倒換的速度，進(jìn)而減少業(yè)務(wù)受損時(shí)間。

保護路徑切換導致的業(yè)務(wù)受損時(shí)間大幅縮短

  根據實(shí)際測試及過(guò)，儀表顯示波分系統在保護倒換過(guò)程中的切換時(shí)間最長(cháng)為8ms，最短為3.8ms，上圖左側部分顯示通過(guò)交換機加載流量端到端測試結果，TOOP 400G系統在倒換過(guò)程中速度更快，減少了業(yè)務(wù)受損時(shí)間，為線(xiàn)上服務(wù)的可靠性提供了有效保障。

  DCO自動(dòng)測量端到端RTT時(shí)延功能

  通過(guò)下插探測信號序列，實(shí)現DCO寄存器讀取線(xiàn)路RTT時(shí)延，從而對開(kāi)通系統的線(xiàn)路性能指標進(jìn)行準確預估，此功能為自動(dòng)重路由功能提供了數據基礎。

  DCO內全量PM數據秒級telemetry提取

  定義超過(guò)85項的PM數據通過(guò)telemetry進(jìn)行秒級采集，是業(yè)內第一次將ASIC中的信息進(jìn)行如此全面的采集，傳統的MSA模塊也沒(méi)有做到如此精細化程度。進(jìn)而通過(guò)數據分析提供DCO硬件故障預測與線(xiàn)路狀態(tài)預測功能，T2X4C8單板具備硬件反饋機制，該機制使子框內OP-6單板支持通過(guò)DCO的BER觸發(fā)OCH1+1保護倒換。

  海量的PM數據是我們未來(lái)重點(diǎn)挖掘的數據寶藏，這將賦予我們一些偵測線(xiàn)路信息的能力。

  OOP向柔性網(wǎng)絡(luò )演進(jìn)，Flex-grid 為我們打造未來(lái)平臺

所見(jiàn)即所得的可視化精準運維

  TOOP首次在DCI平臺引入靈活柵格技術(shù)(flex-grid)，實(shí)現了柔性光網(wǎng)絡(luò )的能力。在面對400G以及400G+場(chǎng)景的平滑演進(jìn)提供了基礎。TOOP選擇了“簡(jiǎn)單”作為其設計語(yǔ)言。通過(guò)友好的施工管理設計，利用MUX-PAENL對64個(gè)通道進(jìn)行散出，背面與前部走線(xiàn)設計減少布線(xiàn)復雜度?？刂茖用嫱ㄟ^(guò)拓撲管理組件實(shí)現簡(jiǎn)明扼要的指示，避免維護時(shí)的復雜度。

  CMUX-64單板與MUX-PANEL采用了專(zhuān)利設計，實(shí)現了低損耗的OMSP與Flex-grid應用。在點(diǎn)到點(diǎn)OMSP場(chǎng)景時(shí)無(wú)需額外增加OP單板即可實(shí)現，在采用OCH1+1場(chǎng)景或無(wú)需光層保護場(chǎng)景時(shí)也不會(huì )額外增加插損。整體功率計算符合鏈路落波與合波需求，滿(mǎn)足400G及400G+場(chǎng)景的需求，該系統可以平滑向未來(lái)演進(jìn)，進(jìn)而降低光層的重復投資與提升頻譜利用率。

高品質(zhì)Flex-Grid讓光層基礎設施更穩定更長(cháng)壽

  CMUX-64所采用的WSS器件具備優(yōu)秀濾波特性，讓我們減少了對DCO模塊內置TOF的需求，進(jìn)一步降低DCO模塊的成本。同時(shí)Flex-grid賦予我們無(wú)需標準化FEC，兩端IDC的不同DSP廠(chǎng)商的DCO可以自適應匹配，無(wú)需繁瑣的現場(chǎng)操作。這里劃重點(diǎn)，TOOP產(chǎn)品的設計語(yǔ)言是“簡(jiǎn)”，我們希望現場(chǎng)處理問(wèn)題的方式就是安裝與替換，縮短系統開(kāi)通與故障處理的時(shí)間，提升業(yè)務(wù)的可用率。電層設備與合波器之間的頻率分配，互聯(lián)關(guān)系等問(wèn)題可以做到無(wú)圖紙化施工，我們引入了自適應功能來(lái)實(shí)現匹配波長(cháng)功能。同時(shí)CMUX-64可以針對不同模塊的發(fā)射功率差異與不同波特率的問(wèn)題，包括正在測試中的基于PCS-16QAM的69Gbaud CFP2-DCO的高性能 400G所需81.5GHz頻譜間隔應用，采用Flex-grid可以很好的解決。

  結語(yǔ)

  路寬難平，快馬難馴?；厥?A href="http://joq5k4q.cn/site/CN/Search.aspx?page=1&keywords=%e8%85%be%e8%ae%af&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">騰訊在200G/400G網(wǎng)絡(luò )中的創(chuàng )新與實(shí)踐之路，我們不僅僅是為了貼合業(yè)務(wù)算力要求而做了速率提升，更是通過(guò)構建端到端全面自研的底層基礎設施，并搭載智能化的網(wǎng)絡(luò )系統，借助自主可控創(chuàng )造了高速率，也馴服了高速率，最終為云業(yè)務(wù)提供高帶寬、低延時(shí)、更靈活的云網(wǎng)絡(luò )服務(wù)。相信在該體系的奠基下，后續騰訊網(wǎng)絡(luò )會(huì )持續穩步邁向400G/800G網(wǎng)絡(luò )時(shí)代。