騰訊：海量規模下DCI網(wǎng)絡(luò )的設計與實(shí)現

  前言

  隨著(zhù)云計算業(yè)務(wù)的蓬勃發(fā)展，全球資源的持續布局，對基礎網(wǎng)絡(luò )帶來(lái)了極大的挑戰。騰訊DCI超過(guò)千級節點(diǎn)中有數百臺核心設備，龐大的骨干域帶來(lái)的軟硬件資源壓力，網(wǎng)絡(luò )質(zhì)量無(wú)法很好的保障，多廠(chǎng)商互通、分布式協(xié)議嚴重影響了運營(yíng)效率。

  在這個(gè)背景下，我們結合騰訊“海量之道”的設計理念，在2018年上線(xiàn)了基于SDN集中控制和SR-TE技術(shù)實(shí)現的新一代DCI網(wǎng)絡(luò )——B2，網(wǎng)絡(luò )系統由自研SDN控制器和商用交換機搭建而成。隨著(zhù)不斷的運營(yíng)優(yōu)化和資源布局，B2網(wǎng)絡(luò )今天已經(jīng)具備了集中控制、多平面、自動(dòng)化運營(yíng)、代碼化架構設計等特點(diǎn)，實(shí)現了彈性擴展、高可用、自動(dòng)化變更等能力，當前B2網(wǎng)絡(luò )已承載了騰訊絕大部分骨干網(wǎng)流量。本文將重點(diǎn)闡述B2網(wǎng)絡(luò )的設計理念、關(guān)鍵實(shí)現以及后續演進(jìn)方向。

  1、外練身法，網(wǎng)絡(luò )簡(jiǎn)化

  在做網(wǎng)絡(luò )系統架構設計時(shí)并不是一味地將網(wǎng)絡(luò )復雜化，而是讓網(wǎng)絡(luò )保持足夠的簡(jiǎn)潔，具備海量規模的平滑擴展能力，保證系統最優(yōu)，大道至簡(jiǎn)。

  1.1 轉控分離，協(xié)議簡(jiǎn)化

  控制面。融軟件集中控制之所擅，我們選用了SDN集中控制模式，將復雜的控制面交由自主研發(fā)的SDN控制器來(lái)完成，并根據實(shí)時(shí)網(wǎng)絡(luò )狀態(tài)和業(yè)務(wù)需求，實(shí)現流量智能調度。

  轉發(fā)面。匯設備高速轉發(fā)之所長(cháng)，網(wǎng)絡(luò )設備只需最簡(jiǎn)單、穩定、成熟的基礎特性，在提升網(wǎng)絡(luò )能力的同時(shí)，最大限度降低網(wǎng)絡(luò )設備的實(shí)現復雜性，網(wǎng)絡(luò )協(xié)議做減法，去掉了相對復雜的L3VPN/LDP/RSVP-TE等協(xié)議，讓設備做自己更擅長(cháng)的事情(高速轉發(fā))。也基于此，該方案通過(guò)基于A(yíng)SIC芯片的通用交換機來(lái)實(shí)現，通過(guò)橫向可擴展的方式替換掉價(jià)格昂貴的大型路由器，DCI網(wǎng)絡(luò )設備每100G端口建設成本得到大幅度的下降。

  1.2 網(wǎng)絡(luò )分域，多平面設計

  B2采用了網(wǎng)絡(luò )分域設計，每一個(gè)網(wǎng)絡(luò )域都是獨立的自治域，采用相同的設計理念和技術(shù)架構，減少了單域的設備數量，極大降低了設備資源表項(LSP FEC ECMP)壓力。

  同時(shí)遵循大系統小做原則，完成網(wǎng)絡(luò )多平面、SET化的設計和部署，不同平面之間沒(méi)有任何的協(xié)議與狀態(tài)信息同步，每個(gè)平面采用不同的技術(shù)方案，相互獨立性很強，保證網(wǎng)絡(luò )高可用之外同時(shí)支持平滑擴展和快速迭代。

  2、內修心性，融會(huì )貫通

  身法的修煉賦予了網(wǎng)絡(luò )強健的體魄，但網(wǎng)絡(luò )的快速發(fā)展同樣離不開(kāi)心性的陶冶。隨著(zhù)自研SDN控制器的持續迭代升級、架構設計代碼化的全面鋪開(kāi)，B2網(wǎng)絡(luò )也逐步走向成熟。

  2.1 SDN+集中控制

  最初，我們的選擇跟大多數廠(chǎng)商一樣，把ODL做為SDN控制器的首選。隨著(zhù)網(wǎng)絡(luò )規模的擴大、業(yè)務(wù)流量的“暴漲”，ODL過(guò)于“笨重”、主備模型、數據強一致性等缺點(diǎn)愈發(fā)凸顯。

  隨著(zhù)docker容器化技術(shù)、微服務(wù)架構的快速發(fā)展，我們的SDN控制器也不斷地向前迭代和持續演進(jìn)，去年，我們重新定義了B2網(wǎng)絡(luò )，并稱(chēng)之為“SDN+”。

  騰訊SDN+的設計精髓包括以下幾點(diǎn)：

  微服務(wù)化。通過(guò)騰訊自研tRPC框架解耦控制器內部服務(wù)，每個(gè)服務(wù)模塊均支持docker容器化發(fā)布和部署，從架構上保證了軟件的可擴展性和迭代效率;

  統一資源信息管理和豐富的北向API。網(wǎng)絡(luò )資源信息均保存到騰訊云數據庫，控制器通過(guò)tRPC跟管理平臺、運營(yíng)平臺和變更平臺進(jìn)行交互。豐富的北向API給網(wǎng)絡(luò )的日常運維和故障復盤(pán)分析帶來(lái)了極大的便利;

  南向標準協(xié)議?？紤]到DCI網(wǎng)絡(luò )仍在大量使用商用框式交換機，控制器采用RFC規定的標準協(xié)議跟設備進(jìn)行交互，減少了異構廠(chǎng)商帶來(lái)的管控復雜度;

  軟件的高可用性。各服務(wù)模塊均支持雙活，軟件的升級維護業(yè)務(wù)完全不感知。

  2.2 架構設計代碼化

  網(wǎng)絡(luò )設計及網(wǎng)絡(luò )運營(yíng)中，配置完全一致化管理十分困難，網(wǎng)絡(luò )規模越大，配置更容易出現差錯，猶如黑盒。在配置設計時(shí)，結合應用場(chǎng)景使用業(yè)界統一的Yang Model加上自研的Tencent Yang構建了抽象的配置模型，使用模塊化、抽象化的邏輯屏蔽底層廠(chǎng)商的差異，通過(guò)將配置代碼化，實(shí)現線(xiàn)上的配置管理;對于動(dòng)態(tài)的參數，創(chuàng )造性的使用了嵌入式的Python代碼實(shí)現函數規則，實(shí)時(shí)地生成每臺設備的規劃實(shí)例，實(shí)現設計代碼化、配置線(xiàn)上模型化。

  3、內外兼修，打造彈性智能骨干網(wǎng)

  通過(guò)內外兼修的方式，B2具備了彈性擴展、高可用、自動(dòng)化等特點(diǎn)，把騰訊基礎網(wǎng)絡(luò )帶入了一個(gè)全新的高度。

  3.1 彈性靈活，支持大規模擴展

  網(wǎng)絡(luò )簡(jiǎn)化，靈活擴展結合網(wǎng)絡(luò )分域的設計原則，B2采用了骨干和城域的分域模式，實(shí)現了網(wǎng)絡(luò )簡(jiǎn)化，每個(gè)域采用相同的技術(shù)方案可實(shí)現架構快速復制。每個(gè)網(wǎng)絡(luò )域通過(guò)多平面、SET化的理念完成設計和部署，同時(shí)結合現網(wǎng)的運營(yíng)經(jīng)驗，可以帶來(lái)顯而易見(jiàn)的好處：

  更小的故障域。將業(yè)務(wù)分布到越多的網(wǎng)絡(luò )平面上，單一平面或設備發(fā)生故障，對于業(yè)務(wù)的影響范圍越小。即網(wǎng)絡(luò )故障域的大小跟平面數成反比;

  更靈活的拓展。將網(wǎng)絡(luò )劃分為不同的平面，平面間物理隔離，各個(gè)平面的建設擴容相互獨立，解決工程上牽一發(fā)動(dòng)全身的難題，同時(shí)支持scale out方式進(jìn)行平面擴展;

  更穩定的質(zhì)量。不同平面在網(wǎng)絡(luò )技術(shù)、硬件選型、工程部署上可以采用不同的方案，不會(huì )因為單一特性、硬件等方面的問(wèn)題引起系統性風(fēng)險，整網(wǎng)具備更高的可靠性;

  更可靠的演進(jìn)。隨著(zhù)業(yè)務(wù)多樣性的發(fā)展，網(wǎng)絡(luò )需要進(jìn)行必要的更新和演進(jìn)，在一個(gè)復雜的大規模網(wǎng)絡(luò )中，變化往往帶來(lái)的是運營(yíng)的災難。多平面的網(wǎng)絡(luò )本身具備獨立的冗余能力，可以將某一個(gè)平面在一段時(shí)間內進(jìn)行隔離，從而零風(fēng)險的進(jìn)行版本更新或架構演進(jìn)。

  標準互聯(lián)，精細調度這里可能會(huì )有幾個(gè)疑問(wèn)，多域之間如何互聯(lián)，流量如何調度，擁塞問(wèn)題如何解決?不同域之間我們采用了平面級full mesh、設備級partial mesh的互聯(lián)方式，既保證了架構規范的標準和對稱(chēng)性，又做到了以靈活平滑的大規模scale out擴展。流量調度方面，控制器基于流量分析平臺的數據輸入，可實(shí)現域間的流量精細化調度以及平面間的流量非等價(jià)負載分擔，滿(mǎn)足不同類(lèi)型業(yè)務(wù)需求的同時(shí)，有效提升全網(wǎng)的鏈路利用率。

  3.2 智能化，保證網(wǎng)絡(luò )高可用

  集中調度基于騰訊自主研發(fā)的CSPF算法，以集中控制的模式進(jìn)行全網(wǎng)流量調度，已經(jīng)做到實(shí)時(shí)的流量調度以及分鐘級的流量擁塞控制，比過(guò)去完全依賴(lài)設備TE的效率提升5倍以上，骨干網(wǎng)鏈路的帶寬利用率提升25%以上。

  差異化服務(wù)根據業(yè)務(wù)對網(wǎng)絡(luò )質(zhì)量的不同訴求，控制器定義不同的SLA等級，并在設備上創(chuàng )建與之對應的隧道;轉發(fā)流量時(shí)聯(lián)動(dòng)各業(yè)務(wù)的服務(wù)標識，輕松將業(yè)務(wù)報文“裝”到不同等級的隧道里，進(jìn)而實(shí)現業(yè)務(wù)流量的差異化服務(wù)。在網(wǎng)絡(luò )出現擁塞時(shí)，可保證核心業(yè)務(wù)優(yōu)先轉發(fā)，做到核心業(yè)務(wù)不繞路，低優(yōu)先業(yè)務(wù)不丟包。

  柔性可用網(wǎng)絡(luò )故障具有一定的突發(fā)性和不確定性，尤其現網(wǎng)承載流量的設備或鏈路出現突發(fā)性故障時(shí)，結果很可能是災難級的;為最大化保證業(yè)務(wù)的高可用，B2網(wǎng)絡(luò )提供了幾個(gè)關(guān)鍵能力：

  控制系統的冗余性：控制器跨可用區多活且SET化部署，做到網(wǎng)絡(luò )控制平面的高可靠;

  轉發(fā)路徑的冗余性：控制器預先為隧道計算和下發(fā)備份路徑，當主路徑出現故障時(shí)流量可在百毫秒自動(dòng)切換至備路徑繼續轉發(fā)，整個(gè)過(guò)程業(yè)務(wù)不感知;

  逃生通道：具備平面級和設備級的TE隧道一鍵逃生能力，當網(wǎng)絡(luò )出現大量TE隧道故障或系統級故障時(shí)，能夠在秒級讓業(yè)務(wù)回到IP轉發(fā)。

  3.3 自動(dòng)化，告別人工變更

  配置線(xiàn)上化，配置自動(dòng)審計底層配置通過(guò)轉譯層實(shí)現了CLI命令的原子化，而上層的配置設計實(shí)現了標準化、模型化、代碼化，兩者一拍即合。通過(guò)代碼化的配置模型，加上轉譯層的魯班模版，實(shí)時(shí)生成運營(yíng)變更所需的動(dòng)態(tài)變化配置，保證設備上的配置由配置模型直接生成;同時(shí)直接通過(guò)設備上的反譯，將現網(wǎng)配置轉義成代碼化實(shí)例并在軟件層實(shí)現配置的審計對賬，雙重保障確保了每一行配置與規劃定義的一致，實(shí)現配置自動(dòng)審計，解決了大規模網(wǎng)絡(luò )中配置一致化的難題。

  變更離線(xiàn)化+自動(dòng)化，實(shí)現安全高效操作控制器通過(guò)精準控制路由的撤銷(xiāo)并逐步將業(yè)務(wù)流量“排干”的方式實(shí)現優(yōu)雅隔離，確保業(yè)務(wù)對網(wǎng)絡(luò )變更零感知;同時(shí)精準控制路由的灰度發(fā)布過(guò)程，逐步把業(yè)務(wù)流量“引回來(lái)”，大大減小了變更異?？赡軒?lái)的影響。

  在SDN+精細化控制能力、多平面的基礎上，網(wǎng)絡(luò )變更平臺將多個(gè)系統平臺串聯(lián)起來(lái)，實(shí)現了從優(yōu)雅隔離、灰度啟用、業(yè)務(wù)恢復、狀態(tài)檢查、自動(dòng)回滾等全流程自動(dòng)化變更，可以做到一個(gè)變更窗口內安全的完成平面內所有設備升級，全網(wǎng)升級周期由原來(lái)的年記縮短至周記，架構迭代效率大幅提升。

  故障自愈，實(shí)現極簡(jiǎn)運維立體監控?；诠芾砻娴膄ullmesh監控，通過(guò)控制器實(shí)現軟件定義探測流、編排探測路由的方式覆蓋到每一個(gè)網(wǎng)絡(luò )平面、每一臺設備甚至每一條鏈路，實(shí)現了端到端全方位的立體監控，當網(wǎng)絡(luò )出現丟包或時(shí)延變大等異常時(shí)，立體監控會(huì )立刻感知并上報告警，實(shí)現秒級的故障發(fā)現與精準的故障定位;

  故障自愈?？刂破鞲鶕婢蠄笞詣?dòng)定位故障點(diǎn)，觸發(fā)故障自愈操作，自動(dòng)且優(yōu)雅地隔離掉某個(gè)平面、某臺設備或某條鏈路，實(shí)現故障自愈。為確保隔離動(dòng)作安全有效，控制器通過(guò)自定義的邏輯判斷，如判斷剩余帶寬容量、路由一致性、多點(diǎn)故障等，保證隔離不會(huì )帶來(lái)其他影響或惡化。待立體監控判斷故障徹底解除后，可自動(dòng)解除隔離，恢復流量。

  結語(yǔ)

  B2網(wǎng)絡(luò )通過(guò)彈性靈活的擴展能力滿(mǎn)足海量的業(yè)務(wù)需求，并構建了完善的自動(dòng)化運營(yíng)能力，但是在不斷的迭代優(yōu)化過(guò)程中，我們意識到商用交換機系統逐漸成了“阻礙”B2網(wǎng)絡(luò )快速演進(jìn)的瓶頸。

  過(guò)去幾年騰訊在骨干網(wǎng)領(lǐng)域通過(guò)深度自研和架構的不斷迭代，已經(jīng)實(shí)現了網(wǎng)絡(luò )控制面和管理面的全面自研。后續將逐步把自研交換機在骨干網(wǎng)上進(jìn)行試點(diǎn)，構建管理面、控制面、轉發(fā)面的端到端全系統自研。