美團高級工程師張璋：解析數據中心演進(jìn)影響 光模塊獨立運維日益重要

  ICC訊（編輯：Aiur） 近年來(lái)，全球互聯(lián)網(wǎng)流量持續劇增，推動(dòng)數據中心規模數量的增長(cháng)，同時(shí)面對網(wǎng)絡(luò )海量的數據傳輸，數據中心網(wǎng)絡(luò )架構演進(jìn)和容量升級勢在必行。為了獲得更好的成本效益，數據中心運營(yíng)商還需要在運維機制方面進(jìn)行大量的研究分析，不斷探索一個(gè)合適的性能、穩定性和成本方案，光通信器件獨立運維管理的重要性與日俱增。

  5月29日，訊石信息咨詢(xún)舉辦的線(xiàn)上研討會(huì )—“探討后疫情時(shí)代新基建下的光通信發(fā)展機遇”，美團點(diǎn)評高級網(wǎng)絡(luò )工程師，數據中心專(zhuān)家張璋發(fā)表《數據中心演進(jìn)發(fā)展對光通信器件模塊的影響》線(xiàn)上報告，介紹了網(wǎng)絡(luò )演進(jìn)對光模塊的影響，以及站在大型數據中心的角度看待光模塊運維管理。

  網(wǎng)絡(luò )演進(jìn)對光模塊的影響

  張璋介紹，諸如AI、AR/VR和物聯(lián)網(wǎng)等新興應用的出現，讓互聯(lián)網(wǎng)數據流量呈現出爆發(fā)式增長(cháng)，數據中心網(wǎng)絡(luò )架構和容量等也面臨更苛刻的挑戰。業(yè)界正將多平面CLOS網(wǎng)絡(luò )架構逐步發(fā)展為數據中心網(wǎng)絡(luò )的架構主流，傳統10G網(wǎng)絡(luò )也正向25G網(wǎng)絡(luò )演進(jìn)。美團數據中心網(wǎng)絡(luò )架構演進(jìn)總體為四代，即MT-NET 1.0-4.0。2018年以前是MT-NET 1.0和2.0網(wǎng)絡(luò )架構，其接入形式為銅纜，互聯(lián)帶寬為10G-40G，服務(wù)器接入帶寬為1G或10G。2018-2020年，美團采用第三代的MT-NET 3.0，接入形式換成AOC，互聯(lián)帶寬達到100G，服務(wù)器接入帶寬為25G。

  眾所周知，數據中心網(wǎng)絡(luò )演進(jìn)周期比電信和接入領(lǐng)域更短，美團數據中心也正向第四代(MT-NET 4.0)，其接入形式將是AOC和DAC混用，DAC的占比會(huì )更大，互聯(lián)帶寬面向400G，服務(wù)器接入帶寬將選擇100G/200G。張璋認為，隨著(zhù)網(wǎng)絡(luò )架構升級，傳統框式交換機正逐步被盒式交換機替代，在同一數據中心內部場(chǎng)景中，多平面CLOS架構(131072只光模塊)相比10G網(wǎng)絡(luò )(2016只光模塊)，光模塊數量增長(cháng)了65倍。

  成本敏感的數據中心面對龐大的模塊數量時(shí)必須使成本進(jìn)一步降低，交換機和光模塊逐步解耦將是趨勢，讓模塊廠(chǎng)商直接向數據中心客戶(hù)出貨。當然，這種做法會(huì )提高數據中心運維難度，以常用的100G SR4/CWDM4和LR4為例，當故障發(fā)生時(shí)，網(wǎng)絡(luò )廠(chǎng)商和模塊廠(chǎng)商會(huì )存在問(wèn)題界定不清的現象，如果缺少有效的統一管理模式，模塊批次問(wèn)題將難以發(fā)現。因此，多類(lèi)型多廠(chǎng)商模塊管理將是數據中心演進(jìn)過(guò)程的重點(diǎn)課題。

  大型數據中心的光模塊管理

  隨著(zhù)400G/800G樣品出現或逐步出貨，預計到2021年，400G網(wǎng)絡(luò )架構將逐步商用，光模塊市場(chǎng)規模也將在2023年達到120億美元以上，新類(lèi)型光模塊的在密度、功耗、性能和穩定上面臨更高要求，未來(lái)光模塊將是運維管理中的重要一環(huán)。那美團對光模塊運維管理是怎么做?據張璋介紹，美團中心自主研發(fā)一套光模塊生命周期管理，分為六大部分，即光模塊POC、灰度測試、線(xiàn)上信息采集、異常光模塊預測、自愈系統和數據運營(yíng)。

  一、光模塊POC，其分為四個(gè)階段，第一階段要建立POC協(xié)同群，滿(mǎn)足快速溝通應答，廠(chǎng)商準備產(chǎn)品組建，配合后續測試第二階段以廠(chǎng)商環(huán)境測試為主，涉及溫巡、壓測等環(huán)節;第三階段要做整體工作分析總結，輸出測試結果;第四階段是美團自測，在自有測試環(huán)境中現場(chǎng)比對，并據實(shí)統計。

  二、灰度測試，指將光模塊放在一個(gè)測試POD內，待測模塊不超過(guò)總量的八分之一，測試模塊類(lèi)型字段、序列號、生產(chǎn)日期、診斷日期、廠(chǎng)商字段、編碼字段以及光纖類(lèi)型字段，還有Telemtry測試，包括溫度、電流、電壓、收光功率和發(fā)光功率。

  三、線(xiàn)上信息采集，從設備層下沉至光模塊，利用SSH和Telemtry將光模塊基本信息采集至數據庫。由于模塊標準眾多，以及解耦帶來(lái)的光模塊獨立運維，光模塊單獨信息采集尤為重要。

  四、光模塊監控，美團從單點(diǎn)監控轉變?yōu)橐唤M收發(fā)(本端和對端)觀(guān)察，美團為每臺交換機構建“端口鄰居”數據庫，查看本端光模塊收發(fā)信息時(shí)，可以同步展示對端光模塊信息。

  五、光模塊異常預測與自愈，美團將光模塊故障場(chǎng)景歸納為三種：端口閃斷，秒級恢復;端口反復抖動(dòng);端口異常down。端口反復抖動(dòng)是常規監控手段難以發(fā)現，美團專(zhuān)門(mén)為其探索一種光模塊預測方式，通過(guò)對交換機日志和光模塊數據進(jìn)行分析，預判哪些端口模塊會(huì )出現異常，從而防患于未然。

  張璋進(jìn)一步介紹，IEEE802.3ba-2010中制定了100G以太網(wǎng)物理層接口規范，并定義了本端故障/遠端故障(Local Fault/Remote Fault，簡(jiǎn)稱(chēng)LF/RF)。當RS層發(fā)出LF/RF告警時(shí)，對應的物理層將會(huì )出現異常，交換機可以上報相應log日志，相應的光模塊就有可能處于亞健康狀態(tài)，所以交換機上報的LF/RF日志可以作為光模塊異常信號。

  六、光模塊故障數據分析，自愈系統與預測系統結合，可以在第一時(shí)間自動(dòng)切掉流量，極大降低端口持續故障影響業(yè)務(wù)的可能性。對故障模塊原因和故障模塊類(lèi)型進(jìn)行分析，可以發(fā)現發(fā)光器異常占了70%，CMDM4類(lèi)型模塊占比最大超過(guò)了50%，所以需要在下一個(gè)POC階段對CWDM4模塊的發(fā)光器件進(jìn)行重點(diǎn)測試。通過(guò)對100G光模塊的故障管理，我們可以發(fā)現發(fā)光器件屬于易損部件，在后續400G迭代中需要重點(diǎn)關(guān)注。

  張璋最后表示，隨著(zhù)數據中心網(wǎng)絡(luò )架構和光模塊正在向400G架構演進(jìn)，美團數據中心后續將注重AIOPS和光模塊運維，利用機器學(xué)習分析告警閾值，對網(wǎng)絡(luò )、設備、光模塊、光傳輸等更多精細特征指標異常發(fā)現及在線(xiàn)趨勢預測，并做數據故障分析，結合業(yè)內數據、大數據分析及專(zhuān)家經(jīng)驗和知識圖譜，分析光模塊異常趨勢。