康寧光通信馬銳：IT服務(wù)數據中心的設計淺析

　　Iccsz訊 康寧光通信企業(yè)網(wǎng)亞太區市場(chǎng)經(jīng)理馬銳對IT服務(wù)數據中心的設計進(jìn)行了淺析，隨著(zhù)云計算技術(shù)安全性穩定性的大幅提高，越來(lái)越多的企業(yè)開(kāi)始使用第三方云服務(wù)來(lái)處理各種數據業(yè)務(wù)需求。因此，云服務(wù)對網(wǎng)絡(luò )基礎設施的投入在未來(lái)幾年將會(huì )迅速增加，成為數據中心市場(chǎng)發(fā)展的主要驅動(dòng)力。相比較而言，傳統企業(yè)IT基礎設施費用則呈現出逐年下降的趨勢(如圖1所示)。

圖1. 全球網(wǎng)絡(luò )基礎設施費用細分市場(chǎng)對比趨勢  來(lái)源：LightCounting and Forbes

　　用于第三方IT服務(wù)的云數據中心與傳統企業(yè)數據中心對比，具有很多新的特點(diǎn)。云數據中心需要更高的帶寬，更低的時(shí)延，更大的網(wǎng)絡(luò )規模和更快的升級頻率等。2016年大約全球80%的40GbE光傳輸設備銷(xiāo)售額來(lái)自互聯(lián)網(wǎng)云服務(wù)企業(yè)。從2017年開(kāi)始由于云數據中心的驅動(dòng)100GbE光傳輸設備需求迅速增長(cháng)。預計到2022年云服務(wù)對以太網(wǎng)收發(fā)器的需求將達到全球市場(chǎng)的70%(如圖2所示)，并且在2018年后開(kāi)始帶動(dòng)200GbE和400GbE的銷(xiāo)售。相對而言，傳統企業(yè)對以太網(wǎng)收發(fā)器的需求將會(huì )保持平穩，并將長(cháng)期以10GbE網(wǎng)絡(luò )為主。本文中我們將根據IT服務(wù)類(lèi)用戶(hù)的需求特點(diǎn)對數據中心光纖類(lèi)型的選擇，傳輸方式的選擇和布線(xiàn)結構的選擇進(jìn)行淺析。

圖2. 全球以太網(wǎng)收發(fā)器銷(xiāo)售額分布($M)  來(lái)源：LightCounting

　　光纖類(lèi)型的選擇

　　在數據中心以太網(wǎng)設計中，光纖類(lèi)型的選擇需要根據數據中心對傳輸速率，傳輸距離等的需求進(jìn)行綜合考慮。目前云計算數據中心已經(jīng)普遍部署40G乃至100G以太網(wǎng)來(lái)支持日益增長(cháng)的數據業(yè)務(wù)需求。多模光纖系統因技術(shù)成熟度高，總體成本較低等優(yōu)點(diǎn)，仍舊被大多數數據中心所采用。然而業(yè)界普遍認為傳統的OM3/4多模光纖主要用來(lái)支持100m-150m的短距離傳輸。因此為了延長(cháng)多模光纖在高速網(wǎng)絡(luò )中的傳輸距離，相關(guān)國際標準組織正式命名了基于波分復用技術(shù)的OM5多模光纖。

表1. 使用不同光纖類(lèi)型和收發(fā)器支持的40G/100G以太網(wǎng)最大傳輸距離對比

　　*COC=使用Corning產(chǎn)品測試

　　面對三種多模光纖，數據中心設計人員應該根據數據中心的實(shí)際需求進(jìn)行選擇。在表1中我們列出了不同光纖類(lèi)型使用不同收發(fā)器時(shí)能夠支持40G/100G以太網(wǎng)的最大傳輸距離。目前因只有40G SR4和100G SR4是IEEE正式發(fā)布的國際標準，因此使用其他收發(fā)器類(lèi)型的傳輸距離均為企業(yè)測試結果。根據表1數據可以看出在不使用SWDM收發(fā)器的前提下，OM5光纖與OM4光纖支持的40G/100G最大傳輸距離相同。而且通過(guò)使用eSR4收發(fā)器的并行通信方式，OM4光纖可以支持550m(40G)和300m(100G)的最大傳輸距離，均長(cháng)于使用SWDM收發(fā)器下的OM5光纖的傳輸距離。因此在數據中心傳輸距離需要超過(guò)150m時(shí)OM5光纖并非唯一選擇。此外，康寧根據對過(guò)去三年部署的OM3和OM4數據中心通道長(cháng)度的統計發(fā)現，大約95%已部署OM3系統90%已部署OM4系統長(cháng)度在100m以?xún)?如圖3所示)?？傮w來(lái)說(shuō)OM3/OM4光纖能夠滿(mǎn)足90%的40G/100G數據中心連接需求。對于少數需要支持300m傳輸的數據中心，則可以使用OM4/eSR4或OM5/SWDM的組合方式。

圖3. 數據中心以太網(wǎng)OM3/4連接通道長(cháng)度分布

　　傳輸方式的選擇

　　近年來(lái)云數據中心的發(fā)展持續驅動(dòng)對高速數據傳輸的需求。傳統上我們一直在使用加快光源開(kāi)關(guān)速率的方式在單一通道內增加串行傳輸速率，例如從1G增加到10G。但隨著(zhù)對更高速率網(wǎng)絡(luò )需求的大幅提升，傳統的串行傳輸方式已經(jīng)無(wú)法滿(mǎn)足數據中心發(fā)展的需要。目前能夠支持40G/100G網(wǎng)絡(luò )的傳輸方式主要可分為兩類(lèi)，一類(lèi)是基于WDM技術(shù)的串行傳輸方式，一類(lèi)是通過(guò)在多根光纖上同時(shí)傳輸數據的并行傳輸方式。我們在表2中簡(jiǎn)述了兩種傳輸方式的優(yōu)缺點(diǎn)和主要應用環(huán)境。

表2. WDM串行傳輸與并行傳輸方式的對比

　　與選擇光纖類(lèi)型類(lèi)似，選擇哪種傳輸方式主要根據數據中心部署速率，傳輸距離以及整體預算等進(jìn)行綜合考慮。目前大多數已部署的40G/100G數據中心均采用并行傳輸方式。主要原因有如下幾點(diǎn)。首先，采用并行傳輸可以滿(mǎn)足絕大多數40G/100G數據中心對傳輸距離的要求。此外，并行傳輸使用的收發(fā)器可以利用現有收發(fā)器的市場(chǎng)規模優(yōu)勢降低成本。例如40G收發(fā)器只需使用4個(gè)相同的10G光源和光組件，既有產(chǎn)品市場(chǎng)規模大，成熟度高，相應的價(jià)格較低。如果使用40G波分復用收發(fā)器，則需要使用多個(gè)不同波長(cháng)的光源，新波段的光源因處于產(chǎn)品生命周期的早期，成本較高。

　　并行傳輸方式被廣泛使用的另一個(gè)主要原因是并行傳輸支持端口分支應用。使用并行傳輸方式的40G/100G光收發(fā)器既可以傳輸一路40G/100G信號，又可以同時(shí)傳輸4路獨立的10G/25G信號。這種方式給用戶(hù)帶來(lái)的一個(gè)最顯著(zhù)的好處就是可以在相同的空間內提高10G/25G端口的密度。我們以40G網(wǎng)絡(luò )為例來(lái)具體說(shuō)明使用端口分支方式如何提高端口密度。

　　常規的帶有QSFP收發(fā)器端口的40G交換機板卡可以提供36個(gè)40G端口。如果我們使用端口分支的方式將一個(gè)40G端口分支為4個(gè)10G端口，則36個(gè)40G端口可以支持4×36=144個(gè)10G鏈路。比較而言，常規的帶有SFP+收發(fā)器端口的10G交換機板卡可以提供48個(gè)10G端口。如果需要達到同樣的10G端口數，則需要部署3個(gè)48口10G交換機。目前全球已出貨的40G QSFP交換機大概有一半應用于10G端口分支。采用這種方式不但可以提高10G端口密度3倍左右，而且每個(gè)10G端口能耗可以降低60%，成本可以降低30%-45%。而且當數據中心未來(lái)需要升級為全40G網(wǎng)絡(luò )時(shí)，無(wú)需重新購買(mǎi)40G收發(fā)器和交換機就可以平滑升級。同樣的方式也適用于100G乃至未來(lái)的200G/400G網(wǎng)絡(luò )(如圖4所示)。因此，在可以預見(jiàn)的未來(lái)，并行傳輸方式仍將被大多數高密度數據中心所采用。

圖4. 并行分支應用演進(jìn)

　　布線(xiàn)結構的選擇

　　為了應對高速增長(cháng)的數據處理需求，尤其是逐漸增加的數據中心內服務(wù)器之間東西向的數據傳輸需求，云數據中心開(kāi)始采用有別于傳統三層交換網(wǎng)絡(luò )結構的新型網(wǎng)絡(luò )來(lái)提高效率，降低時(shí)延。其中如圖5所示的脊葉(Spine-leaf)兩層網(wǎng)絡(luò )結構近來(lái)被越來(lái)越多的云數據中心所采用。這種網(wǎng)絡(luò )結構需要每一個(gè)脊交換機與每一個(gè)葉交換機相連，從而提高路由效率。隨著(zhù)云數據中心規模的不斷增大，不但在一個(gè)數據中心內部需要大量的布線(xiàn)連接，而且在一個(gè)園區內的不同數據中心之間也需要大量的布線(xiàn)連接。數據中心內和數據中心之間的全交叉互聯(lián)需求給布線(xiàn)結構的設計以及安裝測試等都帶來(lái)了新的挑戰。

圖5.傳統三層網(wǎng)絡(luò )結構與脊葉(Spine-leaf)兩層網(wǎng)絡(luò )結構的對比

　　我們以圖6所示的網(wǎng)絡(luò )示意圖為例來(lái)分析使用不同布線(xiàn)方案對用戶(hù)的影響。如表3所示，我們對比三種不同的布線(xiàn)方式，LC跳線(xiàn)端到端直連，72芯MTP預端接光纜連接MDA和HDA配線(xiàn)區，576芯MTP預端接光纜連接MDA和HDA配線(xiàn)區。通過(guò)對比我們可以發(fā)現，方案2和方案3采用結構化布線(xiàn)，預端接MTP光纜連接MDA和HDA配線(xiàn)區的方式相比較方案1跳線(xiàn)直連可以大大減少安裝，標識，測試以及故障查找的工作量，從而降低安裝測試和維護的成本，并且可以大量節省時(shí)間滿(mǎn)足云計算數據中心對快速部署快速交付的要求。此外，在網(wǎng)絡(luò )需要遷移增加和變更時(shí)，方案1需要重新在兩層交換之間安裝端到端的長(cháng)跳線(xiàn)，工作量大安裝難度高。而方案2和方案3只需在MDA或HDA配線(xiàn)區使用短跳線(xiàn)配置即可。

圖6. 脊葉兩層交換網(wǎng)絡(luò )配置示意圖

(10G網(wǎng)絡(luò )，4個(gè)脊交換機，48個(gè)葉交換機，每個(gè)葉交換機帶32個(gè)服務(wù)器，收斂比1：1。)

表3. 布線(xiàn)方案對比

　　使用MTP預端接光纜的結構化布線(xiàn)方案對比LC跳線(xiàn)端到端直連的另一個(gè)優(yōu)點(diǎn)是可以大量節省線(xiàn)槽資源(如圖7所示)。對于服務(wù)于第三方的云計算數據中心來(lái)說(shuō)，空間的節省就代表著(zhù)成本的節省。在部署高密度的數據中心時(shí)，使用預端接方案，特別是使用高芯數預端接光纜可以有效節省線(xiàn)槽資源。不但便于安裝鋪設，更有利于整個(gè)數據中心系統的空氣流動(dòng)從而降低日常運行時(shí)的制冷成本。

圖7.不同布線(xiàn)方案線(xiàn)槽占用率對比

        作者：康寧光通信企業(yè)網(wǎng)亞太區市場(chǎng)經(jīng)理馬銳