鵝廠(chǎng)網(wǎng)事：數據驅動(dòng)光網(wǎng)絡(luò )的智能運營(yíng)探索

/前言/

  面對流量快速增長(cháng)，如何快速高效提供高質(zhì)量帶寬，保證帶寬長(cháng)期穩定運行，是數據中心互聯(lián)光網(wǎng)絡(luò )面臨的最大挑戰。針對快速高效提供帶寬的問(wèn)題。我們已經(jīng)具備有效的應對方法?；跀祿行幕ヂ?lián)組網(wǎng)特點(diǎn)，我們將光網(wǎng)絡(luò )切割成一個(gè)一個(gè)獨立的單元，首先將這些單元標準化，設計更加適用于數據中心應用的硬件設備OPC-4、TPC-4和設備管控模型，構建標準管控系統，實(shí)現對不同廠(chǎng)商設備的統一管理，混合組網(wǎng)。然后將標準單元快速復制到數據中心互聯(lián)應用中，有效應對數據中心互聯(lián)帶寬的快速增長(cháng)。

  隨著(zhù)系統規模越來(lái)越大，如何保證系統長(cháng)時(shí)間，高質(zhì)量運行，是我們亟需解決的主要問(wèn)題。一方面系統在運行過(guò)程中會(huì )逐漸偏離最佳運行狀態(tài)，需要持續修正，使系統維持在最佳運行狀態(tài)。另一方面系統會(huì )遇到一些故障，在故障率一定的情況下，系統規模越大，故障總量就越大。如何有效降低故障率，并持續保證系統運行在最佳狀態(tài)，是提升系統質(zhì)量的關(guān)鍵。

  我們從標準結構著(zhù)手，通過(guò)科學(xué)有效的方法，提升標準結構的高質(zhì)量運行能力，一旦為標準結構構建起這樣的能力，便可以快速將這種能力復制到整個(gè)網(wǎng)絡(luò )。我們以精細化運行數據為驅動(dòng)，為標準結構構建起自主運行能力，使其能常態(tài)化運行在最佳狀態(tài)。系統持續自主運行在最佳狀態(tài)，需要系統自身能夠基于運行數據，提前發(fā)現系統潛在風(fēng)險，在故障發(fā)生前主動(dòng)處理，防患于未然，有效降低系統故障率。同時(shí)以設備運行數據為基礎，還可以分析設備運行情況，協(xié)助優(yōu)化設備硬件、軟件設計，提升設備質(zhì)量。

/自動(dòng)控制架構/

  騰訊開(kāi)放光網(wǎng)絡(luò )自動(dòng)控制架構，本質(zhì)是一個(gè)閉環(huán)控制架構。架構的關(guān)鍵點(diǎn)是四大能力構建：控制能力、采集能力、感知能力、決策能力。將這四大能力合理有序串聯(lián)起來(lái)，便可實(shí)現整個(gè)系統的自動(dòng)運行。采集能力采集到系統更詳盡、更精細的運行數據，感知能力對運行數據分析，感知系統變化;決策能力則使系統具備科學(xué)分析，科學(xué)決策的能力，依據感知結果對系統作出科學(xué)決策，并將指令傳遞給控制系統執行，實(shí)現對系統的閉環(huán)控制。

/感知能力構建/

  什么是感知能力?用一個(gè)人體體驗作為例子，如果人體被針扎一下或者手擰一下，都會(huì )體會(huì )到疼痛，人體體會(huì )到疼痛是一種采集能力，但是我們的大腦能夠準確的從這兩種疼痛不同的表現方式，體會(huì )出差異，判斷出區別，這就是感知能力。感知能力是一種對數據的分析能力。在傳統光網(wǎng)絡(luò )系統中，對數據的感知往往是由經(jīng)驗豐富的工程師完成，我們正在幫系統構建起這種能力，使系統能夠在無(wú)人干預的條件下，實(shí)現對數據的經(jīng)驗性轉化。目前騰訊開(kāi)放光網(wǎng)絡(luò )已經(jīng)具備了控制能力和采集能力，我們正在進(jìn)行感知能力和分析能力的構建。

  我們主要從兩個(gè)維度構建系統感知能力，一個(gè)是系統維度，一個(gè)是時(shí)間維度。系統維度，首先構建針對單個(gè)指標的感知能力，通過(guò)對指標的感知來(lái)判斷系統變化。傳送平面的硬件和光纖是運營(yíng)過(guò)程中可以操作的基本單元，構建針對硬件和光纖的感知能力，準確感知故障和潛在風(fēng)險，觸發(fā)相關(guān)運維操作，對問(wèn)題硬件替換，避免故障發(fā)生，可以將故障轉化為計劃內的網(wǎng)絡(luò )操作，保證系統質(zhì)量。傳輸系統最終是一個(gè)帶寬系統，從用戶(hù)角度并不關(guān)心系統內部設備、光纖這些組成元素。我們常被用戶(hù)問(wèn)及帶寬情況如何?帶寬的感知能力，則是讓系統能夠自行回答這個(gè)問(wèn)題。讓系統能夠感知帶寬當前的運行狀態(tài)，預測帶寬未來(lái)的運行狀態(tài)，對潛在風(fēng)險合理規避，有效降低帶寬的非預期性中斷，保證帶寬長(cháng)期穩定運行。時(shí)間維度，則要為系統構建快速感知能力，中速感知能力和慢速感知能力，這是從系統問(wèn)題分析時(shí)效性出發(fā)定義的能力?？焖俑兄菍祿膶?shí)時(shí)分析，快速捕獲系統故障。中速感知則是對系統潛在風(fēng)險或者關(guān)鍵指標變化的分析和感知，這往往需要一定量的數據進(jìn)行分析。而慢速感知則是通過(guò)對大量數據的分析，來(lái)感知系統運行趨勢，可以對系統未來(lái)的運行狀況進(jìn)行預測。

  接下來(lái)介紹不同感知能力構建的典型數據基礎。下面這張圖展示了對線(xiàn)路光纖衰耗的快速感知能力。通過(guò)光纖兩端主光通道及OSC(Optical Supervisory Channel)的發(fā)光功率和收光功率計算得到光纖衰耗，能夠通過(guò)光纖衰耗的變化，快速發(fā)現光纖故障。同時(shí)可以觀(guān)察到在放大器開(kāi)啟APR(Automatic Power Reduction)功能情況下，主光通道光功率和OSC通道光功率的差異性行為。

  下面這張圖展示了對光纖衰耗的中速感知能力，可以觀(guān)察到在某一時(shí)刻后光纖衰耗已經(jīng)發(fā)生變化，持續性的提升了一個(gè)臺階，此時(shí)系統需要感知到光纖基準衰耗的變化，并正確修正該基準衰耗。因為系統內基于光纖衰耗的分析算法會(huì )使用到光纖基準衰耗，光纖基準衰耗的不準確，會(huì )直接導致使用該指標的算法無(wú)法得到正確結果。

  最后一張圖展示了對設備的中速感知能力，可以明顯觀(guān)察出上方圖中，A-Z方向由主光通道計算出的光纖衰耗和由OSC通道計算出的光纖衰耗，呈現不同的數據形態(tài)?；贠SC計算出的光纖衰耗數據保持穩定，但是相同時(shí)間段內，由主光通道計算出的光纖衰耗數據則出現較大范圍的波動(dòng)。進(jìn)一步分析可以發(fā)現，這個(gè)現象是由于A(yíng)端的主光通道發(fā)送光功率不穩定導致的，并不是線(xiàn)路光纖出現問(wèn)題。因此通過(guò)對一段時(shí)間內的數據進(jìn)行分析，為我們發(fā)現設備潛在故障提供準確線(xiàn)索。

  目前系統的感知范圍還主要集中在光纖纖芯內部和設備內部，但是實(shí)際中我們遇到的光纖故障，往往是由外界影響導致的，比如挖掘機將光纜挖斷。因此我們需要將感知能力擴展到光纖外部幾米的范圍，使系統能夠感知光纖外部環(huán)境變化，這是系統能夠防患于未然的關(guān)鍵。針對這個(gè)問(wèn)題，一方面我們通過(guò)在光層設備中引入光纖傳感技術(shù)，提升系統對光纖周?chē)h(huán)境的探測能力，另一方面我們在深挖系統中沉睡的光學(xué)指標，通過(guò)合理計算，擴展系統的感知邊界。從這兩方面努力，使我們能夠提前預警光纖中斷風(fēng)險。

/系統架構變革/

  數據驅動(dòng)推動(dòng)系統架構發(fā)生革命性變革。網(wǎng)絡(luò )控制器與設備組成的管控系統，需重新按照以數據為中心進(jìn)行設計。依照系統功能需求和實(shí)際資源分布，重新分配整個(gè)管控系統的計算能力。將系統主要計算能力上移到控制器，結合計算平臺自由伸縮特性，為系統提供彈性計算能力。同時(shí)降低計算能力受限的設備的計算負荷，將廣泛分布于網(wǎng)絡(luò )中的設備，改造成網(wǎng)絡(luò )運行數據采集單元，持續快速的向控制器推送網(wǎng)絡(luò )的實(shí)時(shí)運行數據，由控制器完成基于全局視角的系統分析和控制。

  從光纖故障處理的具體場(chǎng)景，對比數據驅動(dòng)型系統與傳統管理系統的區別。當光纖發(fā)生故障后，傳統系統中設備產(chǎn)生LOS(Loss of signal)告警，并將告警傳遞給網(wǎng)管，網(wǎng)管將設備告警傳遞給上層管理系統(OSS);上層管理系統接收到設備告警后，并無(wú)法直接判斷故障，此時(shí)會(huì )下發(fā)查詢(xún)指令，向廠(chǎng)商網(wǎng)管查詢(xún)相關(guān)設備的性能數據;網(wǎng)管會(huì )根據請求，向設備下發(fā)查詢(xún)指令，設備向廠(chǎng)商網(wǎng)管報告15min性能，然后廠(chǎng)商網(wǎng)管繼續向OSS上報設備返回的15min性能。光網(wǎng)絡(luò )設備的計算能力有限，在故障的時(shí)候要產(chǎn)生告警，同時(shí)又要應對集中的查詢(xún)請求，這就是往往在發(fā)生故障的時(shí)候，操作人員體會(huì )到設備反應變慢的根本原因。而且越是反應慢，操作人員越會(huì )連續觸發(fā)設備查詢(xún)請求，導致情況變的更糟。傳輸設備作為整個(gè)系統中計算能力最弱的單元，卻在最關(guān)鍵的時(shí)候承擔了主要計算壓力，這樣的系統計算能力分配是不合理的。

  在騰訊開(kāi)放光網(wǎng)絡(luò )系統，我們按照系統各單元的客觀(guān)計算能力條件，重新分布了整個(gè)系統的計算能力。將設備的計算需求減載，將主要計算能力上移到控制器。將設備改造成一個(gè)精細、穩定的采集裝置，源源不斷的采集系統運行數據，持續、快速向控制器上報?？刂破鞒袚饕嬎隳芰?。對于相同的光纖故障處理場(chǎng)景：設備采集性能數據持續上報，控制器根據所有設備上報的性能數據及網(wǎng)絡(luò )邏輯結構數據，快速計算得到光纜故障的結論，并反饋給上層網(wǎng)管系統。如果上層網(wǎng)管系統需要查詢(xún)故障當時(shí)的系統性能數據，則直接向控制器進(jìn)行請求，此時(shí)所有的設備性能數據均保存在控制器，控制器并不會(huì )向設備發(fā)起查詢(xún)命令，而是將該查詢(xún)請求終結在控制器內部。即使上層管理系統，有突發(fā)的多個(gè)查詢(xún)請求，控制器也能夠合理應對。系統計算能力重新分配，讓設備和控制器更加合理的承擔系統功能，使系統更加高效運轉。

  設備作為整個(gè)系統的運行數據采集終端，我們在想辦法提升其采集數據的速率和精度，在我們的持續努力下，目前設備可以按照1s間隔向控制器推送性能數據，而且關(guān)鍵性能指標的時(shí)間分辨率可以達到20ms?？刂破髯鳛橄到y計算能力主要單元，則在持續提升其數據處理及時(shí)性和準確性?；?s streaming telemetry構建的數字驅動(dòng)系統，對比傳統傳輸系統的15min性能數據，不僅僅是900倍的時(shí)間分辨率提升，更是對系統觀(guān)測能力的革命。正是基于對系統的精細化觀(guān)測，使我們能夠精確感知、準確控制。

/挑戰/

  數據驅動(dòng)為系統帶來(lái)革命性變化的同時(shí)，也帶極大挑戰。數據驅動(dòng)的核心是：數據與算法。我們希望在這兩個(gè)方面，與更多的合作伙伴一起合作。在數據為王的時(shí)代，數據源的質(zhì)量直接影響到系統的正確表達，如何保證數據源的質(zhì)量，如何監控數據源的質(zhì)量，是一項關(guān)鍵任務(wù)。而找到數據背后的真相，發(fā)現問(wèn)題的本質(zhì)則會(huì )從根本上改變我們和供應商的協(xié)作方式，由原來(lái)只能在問(wèn)題發(fā)生后被動(dòng)接受故障分析報告，演進(jìn)到可以根據數據發(fā)現真相，有效驅動(dòng)供應商進(jìn)行精準的問(wèn)題修復，防患于未然。在算法方面，找到針對指標感知更加通用的算法，找到更加合理的帶寬質(zhì)量分析算法，找到更加通用的硬件和光纖分析算法，則是我們關(guān)注的重點(diǎn)。在有效解決光網(wǎng)絡(luò )系統問(wèn)題的同時(shí)，更通用的算法，也可以更加便捷的應用到其他網(wǎng)絡(luò )領(lǐng)域中。

      作者：陳明剛