騰訊DCI——面向服務(wù) 應云而生

  筑基煉己，提升網(wǎng)絡(luò )核心能力

  近幾年來(lái)，騰訊DCI經(jīng)歷了幾次重要的演進(jìn)。網(wǎng)絡(luò )的本質(zhì)是為業(yè)務(wù)提供支撐和服務(wù)，所以網(wǎng)絡(luò )的演進(jìn)也應由需求驅動(dòng)而非技術(shù)驅動(dòng)。過(guò)去五年騰訊基礎網(wǎng)絡(luò )需求的最大變化，來(lái)自于服務(wù)對象的變化?；A網(wǎng)絡(luò )所支撐的，從以產(chǎn)品導向為主的To C自研業(yè)務(wù)，逐漸變?yōu)橐孕枨髮驗橹鞯?、To B的公有云業(yè)務(wù)。兩類(lèi)業(yè)務(wù)各自特點(diǎn)的不同，直接導致了對網(wǎng)絡(luò )需求的差異?？蛻?hù)期望我們提供一張質(zhì)量盡量好、成本盡量低的網(wǎng)絡(luò )，并且能夠根據需求隨時(shí)交付。相信很多網(wǎng)絡(luò )工程師都因為這樣的需求而產(chǎn)生過(guò)焦慮。

  我們并不質(zhì)疑需求的合理性，這個(gè)問(wèn)題的矛盾實(shí)際是過(guò)去傳統網(wǎng)絡(luò )的演進(jìn)無(wú)法匹配業(yè)務(wù)的發(fā)展速度而引起的，伴隨而來(lái)的是一次次運營(yíng)事件和客戶(hù)抱怨。我們進(jìn)行了深入的復盤(pán)和反思，總結了網(wǎng)絡(luò )核心能力三要素——質(zhì)量，成本，效率，并針對這三個(gè)要素對DCI網(wǎng)絡(luò )進(jìn)行了系統的優(yōu)化：

  對全網(wǎng)數通設備、傳輸設備、線(xiàn)路的性能和可靠性進(jìn)行專(zhuān)項攻堅提升;

  優(yōu)化變更管理和監控流程，確保所有網(wǎng)絡(luò )操作一旦觸發(fā)異?？杀坏谝粫r(shí)間定位并恢復;

  網(wǎng)絡(luò )架構優(yōu)化，推出全新DCI架構B2，采用多平面+分域網(wǎng)絡(luò )設計，集中式+分布式的SDN控制調度，簡(jiǎn)化網(wǎng)絡(luò )的同時(shí)有效控制了DCI故障的爆炸半徑;

  自動(dòng)化運營(yíng)能力提升，基于自研NetOps自動(dòng)化運營(yíng)平臺，通過(guò)配置建模、代碼化架構發(fā)布和管理、全流程自動(dòng)化下發(fā)等方法，實(shí)現了對網(wǎng)絡(luò )配置、變更的完全可控;通過(guò)立體監控、優(yōu)雅隔離、灰度恢復等手段實(shí)現了快速故障定位和自愈。

  當我們信心滿(mǎn)滿(mǎn)的迎來(lái)2021年時(shí)，我們卻被一些“個(gè)性”的需求難住了。21年初，某云上客戶(hù)需要使用騰訊會(huì )議舉行一場(chǎng)重要的跨國視頻會(huì )議，需要網(wǎng)絡(luò )側為該用戶(hù)的會(huì )議業(yè)務(wù)流量在穿越DCI時(shí)提供最高的可靠性保障;某游戲加速類(lèi)客戶(hù)提出騰訊云國內外多個(gè)邊緣數據中心到核心數據中心需要提供極低的網(wǎng)絡(luò )時(shí)延，這意味著(zhù)DCI需要專(zhuān)門(mén)針對這類(lèi)客戶(hù)提供定制化的網(wǎng)絡(luò )加速……我們突然發(fā)現網(wǎng)絡(luò )面對的需求，不再是單純的討論網(wǎng)絡(luò )整體的質(zhì)量效率成本，而是需要針對不同客戶(hù)提供靈活的、定制化的網(wǎng)絡(luò )服務(wù)。網(wǎng)絡(luò )核心能力三要素也需要進(jìn)行一個(gè)重要的補充——差異化服務(wù)。

  分層解耦，開(kāi)放靈活的網(wǎng)絡(luò )服務(wù)

  騰訊云早在2018年就推出了提供全網(wǎng)互聯(lián)服務(wù)的云聯(lián)網(wǎng)(Cloud Connect Network，CCN)產(chǎn)品，為客戶(hù)提供云上私有網(wǎng)絡(luò )間(VPC)、VPC與本地數據中心間(IDC)內網(wǎng)互聯(lián)的服務(wù)，具備全網(wǎng)多點(diǎn)互聯(lián)、路由自學(xué)習、鏈路選優(yōu)及故障快速收斂等能力。幫助客戶(hù)輕松構建極速、穩定、安全、靈活的全球互聯(lián)網(wǎng)絡(luò )。

  云聯(lián)網(wǎng)對客戶(hù)的網(wǎng)絡(luò )意圖進(jìn)行轉譯解析，拆分成不同的網(wǎng)絡(luò )任務(wù)執行，極大的簡(jiǎn)化了客戶(hù)對于云上網(wǎng)絡(luò )的運維復雜度。但在物理網(wǎng)絡(luò )層執行時(shí)，受限于傳統數通網(wǎng)絡(luò )設備的種種限制(如相對固化的軟硬件實(shí)現，性能規格限制等)，很難實(shí)現細粒度的差異化服務(wù)，而傳統的基于業(yè)務(wù)優(yōu)先級的QoS能力，已經(jīng)遠遠無(wú)法滿(mǎn)足公有云百萬(wàn)級客戶(hù)的個(gè)性化需求。所以，我們需要一款對上可以與云聯(lián)網(wǎng)聯(lián)動(dòng)，對下可以按客戶(hù)粒度進(jìn)行精細化調度，并且直接參與報文數據轉發(fā)的，可以快速靈活迭代的網(wǎng)絡(luò )產(chǎn)品。符合這些特點(diǎn)的，就是一款騰訊自研NFV產(chǎn)品，我們把它命名為vDCI。

  vDCI產(chǎn)品的誕生，也標志著(zhù)騰訊DCI從SDN時(shí)代正式演進(jìn)到了SDN+NFV時(shí)代。

  這是一張vDCI產(chǎn)品的落地場(chǎng)景圖，vDCI在接收到從數據中心發(fā)出的流量后，通過(guò)Overlay技術(shù)為每個(gè)客戶(hù)構建一個(gè)獨立的專(zhuān)屬網(wǎng)絡(luò )平面，并在專(zhuān)用平面內基于客戶(hù)的不同業(yè)務(wù)類(lèi)型進(jìn)行精確匹配和靈活的按需調度，同時(shí)確保不同客戶(hù)間互不影響。

  vDCI作為騰訊DCI的流量出入口，通過(guò)隧道技術(shù)在低時(shí)延、高質(zhì)量、低成本網(wǎng)絡(luò )路徑間進(jìn)行精細化的選路調度;同時(shí)也通過(guò)vDCI這個(gè)虛擬平面，將個(gè)性化的業(yè)務(wù)需求與物理網(wǎng)絡(luò )解耦，vDCI專(zhuān)注于滿(mǎn)足業(yè)務(wù)的靈活調度需求，底層物理網(wǎng)絡(luò )則聚焦于網(wǎng)絡(luò )性能和可靠性的持續提升。

  上圖展示了vDCI產(chǎn)品的服務(wù)能力和高可靠性能力。首先是通過(guò)高速加密隧道，實(shí)現多種網(wǎng)絡(luò )資源的靈活利用，同時(shí)保證業(yè)務(wù)的安全性;通過(guò)vDCI的可編程能力，支持業(yè)務(wù)自定義調度標識，幫助客戶(hù)可以按照不同的業(yè)務(wù)類(lèi)型進(jìn)行差異化調度選擇;同時(shí)vDCI產(chǎn)品通過(guò)與底層物理網(wǎng)絡(luò )在控制面和轉發(fā)面的聯(lián)動(dòng)提供靈活的多級調度，客戶(hù)可以在多個(gè)網(wǎng)絡(luò )路徑中，按需選擇時(shí)延最低、成本最低或質(zhì)量最優(yōu)的線(xiàn)路，甚至可以在不同的網(wǎng)絡(luò )中進(jìn)行按需的調度和切換;最后通過(guò)騰訊自研SDN控制器和調度算法，實(shí)現客戶(hù)可自定義的、多維度組合的調度策略，比如“在滿(mǎn)足指定的時(shí)延范圍內，選擇成本最低的線(xiàn)路”，“在滿(mǎn)足指定可用率范圍內，選擇時(shí)延最小的線(xiàn)路”等等，以幫助公有云產(chǎn)品盡可能的滿(mǎn)足客戶(hù)個(gè)性化的網(wǎng)絡(luò )需求。

  vDCI作為一款全自研產(chǎn)品，除了在差異化服務(wù)能力方面的提升，在高可靠性方面也做了豐富的設計。首先是通過(guò)vDCI產(chǎn)品自身發(fā)送亞秒級的高精度探測報文，基于每條隧道進(jìn)行實(shí)時(shí)探測，一旦檢測到異常，可以按照制定好的運營(yíng)策略(異常的判定條件和運營(yíng)策略均支持客戶(hù)自定義或使用騰訊云推薦值)，實(shí)現多級的保護切換?；趫D中展示的鏈路級、路徑級、網(wǎng)絡(luò )級三級調度能力，可按需進(jìn)行端口級、設備級、路徑級、平面級、網(wǎng)絡(luò )級5級切換，以保證在異常場(chǎng)景下，仍然盡量滿(mǎn)足客戶(hù)的原始選路訴求。為客戶(hù)提供了多級快速故障自愈能力，這在傳統網(wǎng)絡(luò )中是非常難做到的。截至2021年底，vDCI產(chǎn)品已經(jīng)完成了騰訊云全球Region的覆蓋部署，穩定運營(yíng)超過(guò)6個(gè)月，為多種類(lèi)型客戶(hù)提供了定制化DCI加速服務(wù)。

  端網(wǎng)協(xié)同，打造極致網(wǎng)絡(luò )

  如果僅僅將vDCI作為DCI的流量入口，則不得不為了實(shí)現少部分客戶(hù)的精細化調度需求，需要將全部用戶(hù)的流量都引入到vDCI，這可能會(huì )帶來(lái)額外的成本開(kāi)銷(xiāo)。所以接下來(lái)vDCI將通過(guò)自研網(wǎng)絡(luò )協(xié)議，實(shí)現數據轉發(fā)面直接與業(yè)務(wù)網(wǎng)關(guān)系統的對接，實(shí)現端側的按需引流。后續隨著(zhù)Smartswitch、SmartNIC的規模上線(xiàn)，vDCI可以以更靈活的方式與業(yè)務(wù)進(jìn)行聯(lián)動(dòng)，實(shí)現端網(wǎng)協(xié)同調度。這也標志著(zhù)DCI網(wǎng)絡(luò )系統從控制面到轉發(fā)面的全面開(kāi)放，讓上層業(yè)務(wù)可以靈活、高效的享用底層網(wǎng)絡(luò )提供的豐富的服務(wù)能力。

  結語(yǔ)

  最后總結一下騰訊DCI的演進(jìn)歷程，首先通過(guò)B2網(wǎng)絡(luò )和自動(dòng)化運營(yíng)平臺，解決了業(yè)務(wù)對于網(wǎng)絡(luò )質(zhì)量、效率、成本的最基礎需求;然后通過(guò)vDCI+SDN調度算法，實(shí)現了為業(yè)務(wù)提供差異化服務(wù)能力;接下來(lái)基于管理面、控制面、轉發(fā)面全棧自研的騰訊DCI網(wǎng)絡(luò )平臺，通過(guò)高精度網(wǎng)絡(luò )度量和數據建模與分析，進(jìn)一步深入理解業(yè)務(wù)，更好的幫忙云上客戶(hù)產(chǎn)生價(jià)值。