數據中心網(wǎng)絡(luò )布線(xiàn)為大數據時(shí)代鋪路

       【訊石光通訊咨詢(xún)網(wǎng)】前言

        伴隨云時(shí)代的來(lái)臨，大數據(Big data)也吸引了越來(lái)越多的關(guān)注，人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數據。我們來(lái)了解一下大數據的概念，大數據是指數據集，它的數據量已經(jīng)大到無(wú)法用傳統的工具進(jìn)行采集、存儲、管理與分析。IDC研究表明：全球產(chǎn)生的數據量?jì)H在2011就達到1.8ZB(或1.8萬(wàn)億GB)，且根據預測，未來(lái)十年全球數據存儲量將增長(cháng)50倍。ZB到底是多大容量的概念?1ZB的對象存儲數據，相當于107億塊3T的硬盤(pán)，假設數據都是存儲3份，一臺服務(wù)器可以?huà)?8塊硬盤(pán)，那么需要2億臺服務(wù)器。假設一個(gè)機架可以放10臺類(lèi)似的服務(wù)器，那么將需要2000萬(wàn)個(gè)機架的服務(wù)器才容得下1ZB。

        數據本身與通信技術(shù)的結合給現代人生活帶來(lái)不可比擬的便利性，我們日常生活、工作的每一方面對網(wǎng)絡(luò )與數據的依賴(lài)性越來(lái)越大，而所產(chǎn)生的數據需要有強大的網(wǎng)絡(luò )通信技術(shù)與大容量數據中心作后盾。大數據時(shí)代對數據中心網(wǎng)絡(luò )通信技術(shù)帶來(lái)很大的挑戰，本文將主要圍繞大數據時(shí)代數據中心網(wǎng)絡(luò )與布線(xiàn)系統的技術(shù)標準及網(wǎng)絡(luò )基礎設施物理層發(fā)展趨勢作一下探討。

        關(guān)鍵詞：大數據 云計算 數據中心布線(xiàn)系統 網(wǎng)絡(luò )基礎設施

        一、大數據與網(wǎng)絡(luò )技術(shù)發(fā)展的關(guān)系

        網(wǎng)絡(luò )應用需求的快速上升是數據量需求產(chǎn)生的主要來(lái)源，我們可以從全球IP數據通信量增長(cháng)的趨勢中大致看到今后網(wǎng)絡(luò )應用需求量的增長(cháng)，如下圖1。(Source: Cisco Visual Networking Index )

圖1

　　基于網(wǎng)絡(luò )流量的增長(cháng)與網(wǎng)絡(luò )應用需求快速上升，IDC做出了今后幾年全球數據量將迅猛增長(cháng)的預期 ，如下圖2顯示了從2005年到2015年間的數據存儲量的增長(cháng)趨勢。

圖2

        數據中心數據存儲量增長(cháng)與許多應用需求有關(guān)，筆者認為其中兩個(gè)領(lǐng)域對數據量的增長(cháng)影響明顯：移動(dòng)互連網(wǎng)與物聯(lián)網(wǎng)。移動(dòng)互連網(wǎng)應用近年來(lái)快速崛起，根據Cisco的市場(chǎng)報告統計，移動(dòng)互連網(wǎng)產(chǎn)生的數據量年均增長(cháng)達到90%以上，且移動(dòng)終端的總量即將超過(guò)傳統PC，這方面的增長(cháng)將對全球數據量上升產(chǎn)生較大影響;另一方面物聯(lián)網(wǎng)在越來(lái)越多的行業(yè)中得到了應用， “萬(wàn)物互聯(lián)”是物聯(lián)網(wǎng)的終極目標，這部分的數據增長(cháng)是數據流量絕對量的增長(cháng)。物聯(lián)網(wǎng)的時(shí)代將是傳感器自動(dòng)不間斷上傳大量數據并通過(guò)網(wǎng)絡(luò )儲存在數據中心內，對網(wǎng)絡(luò )與數據中心的存儲量起到了很大推波助瀾的作用。

　　網(wǎng)絡(luò )是所有數據流通的基礎，大數據的產(chǎn)生與網(wǎng)絡(luò )技術(shù)的發(fā)展密切相關(guān)也是相輔相成，通信行業(yè)與IT行業(yè)需要更為緊密的“握手”才能使數據通信不產(chǎn)生瓶頸。事實(shí)上，網(wǎng)絡(luò )基礎設施也在朝著(zhù)這個(gè)方向進(jìn)行，目前國內的城域網(wǎng)干線(xiàn)網(wǎng)絡(luò )正在思考升級到100G的網(wǎng)絡(luò )，同時(shí)也在研究下一代400G的骨干。而為了支持移動(dòng)終端的數據量快速上升，第4代移動(dòng)通信LTE技術(shù)已經(jīng)走向成熟，4G基站正在批量建設階段。而對于通用住宅方面已經(jīng)在快速推進(jìn)FTTH光纖到戶(hù)1G-EPON與10G-EPON的應用，種種網(wǎng)絡(luò )基礎設施的進(jìn)步是為大數據產(chǎn)生與應用起到了橋梁紐帶作用，大數據與網(wǎng)絡(luò )基礎設施的發(fā)展相得益彰，所有網(wǎng)絡(luò )通信技術(shù)的進(jìn)步是作為外圍網(wǎng)絡(luò )環(huán)境為大數據鋪路。如果我們把外圍的網(wǎng)絡(luò )基礎環(huán)境比作人體的神經(jīng)，那么數據中心將是人體的大腦，而所有數據量的上升需要更大規模的數據中心與其相適應，對于數據中心內部的網(wǎng)絡(luò )基礎架構同樣面臨著(zhù)進(jìn)一步升級的需要，布線(xiàn)系統作為數據中心內部連接與管理的基礎設施，對于數據中心的運行可靠性、可管理性及大數據流的支持起到了十分關(guān)鍵的作用。

        二、數據中心網(wǎng)絡(luò )基礎標準化發(fā)展應對大數據

        根據2012版本的TIA-942-A數據中心電信基礎設施標準，對于數據架構基本還采用傳統的網(wǎng)絡(luò )架構模型，對于虛擬化的網(wǎng)絡(luò )架構基本沒(méi)有涉及?；诋斍熬W(wǎng)絡(luò )技術(shù)日新月異的變化狀況，云計算虛擬化的網(wǎng)絡(luò )發(fā)展特別是采用Fabric虛擬矩陣的網(wǎng)絡(luò )將是大型數據中心網(wǎng)格架構的重要發(fā)展趨勢，采用無(wú)阻塞的交換矩陣的網(wǎng)絡(luò )結構是從網(wǎng)絡(luò )層面應對大數據時(shí)代的技術(shù)手段之一。下圖3為典型的虛擬矩陣架構網(wǎng)絡(luò )。

圖3
　　

       為應對大數據的挑戰，云計算虛擬化網(wǎng)絡(luò )技術(shù)的應用是必然的技術(shù)發(fā)展趨勢，基于這樣的網(wǎng)絡(luò )架構的應用，2013年北美通信工業(yè)協(xié)會(huì )TIA正式批準了TIA-942-A-1新版數據中心基礎設施標準的附錄1，該附錄從新的主流虛擬化網(wǎng)絡(luò )架構并結合相應布線(xiàn)系統管理角度進(jìn)行了定義。標準中網(wǎng)絡(luò )架構涉及胖樹(shù)型(Fat-Tree)、全網(wǎng)型(Full-Mesh)以及混合型的模塊化矩陣全網(wǎng)型(POD-Interconnect-Mesh)等多種應用方式。此標準的及時(shí)批準對支持當前及今后一段時(shí)間內數據中心特別是云計算數據中心網(wǎng)絡(luò )與布線(xiàn)系統的構建起到推動(dòng)與促進(jìn)作用，適應了大數據時(shí)代對網(wǎng)絡(luò )的基礎要求。

　　面臨海量的數據存儲與數據處理，數據中心為了提高資源利用效率與數據分析計算能力，將大量采用虛擬化云計算的技術(shù)，包括服務(wù)器虛擬化技術(shù)、網(wǎng)絡(luò )虛擬化技術(shù)以及存儲虛擬化技術(shù)等。網(wǎng)絡(luò )架構總體的趨勢將采用大二層虛擬化的網(wǎng)絡(luò )，核心層采用40G/100G，接入層采用10G的方式基本已經(jīng)成為網(wǎng)絡(luò )升級的方向。當前可以參考的網(wǎng)絡(luò )物理層的標準如下圖4所示：

圖4
　　

        在上述虛擬矩陣的數據中心主干網(wǎng)絡(luò )中，更多地將從10G網(wǎng)絡(luò )升級到40G/100G。IEEE 803.3ba已經(jīng)于2010年已經(jīng)正式發(fā)布采用40G/100G的網(wǎng)絡(luò )技術(shù)標準，基于數據中心主干鏈路距離88%以上小于100米的距離，多模光纖OM3/OM4采用MTP與QSFP接口多通道并行傳輸的方式基于良好的性?xún)r(jià)比，被業(yè)界認為是數據中心主干鏈路應用的首選方案。當前標準中對于100G的應用方案采用的是10G*10的通道模型。2013年3月IEEE 802.3bm標準組織成立特別工作小組研究下一代基于多模OM3萬(wàn)兆光纖25G*4通道支持100G最小100米的標準，此預研標準對后續數據中心的應用影響明顯，提高了光纖系統的應用密度，為后續更高級別的網(wǎng)絡(luò )擴展提供了空間與物理基礎。

        基于當前數據中心內主干網(wǎng)絡(luò )主要由光纖作為傳輸介質(zhì)的背景，TIA標準化組織已經(jīng)在研發(fā)基于100 Ohm平衡雙絞線(xiàn)銅纜支持40G BASE-T的網(wǎng)絡(luò )草案標準。

        PN-568-C.2-1已經(jīng)發(fā)行，預計正式標準將于2014年正式發(fā)行，發(fā)行后正式標準的編號將定義為ANSI/TIA-568-C.2-1。該標準將銅纜雙絞線(xiàn)帶寬擴展至2000MHz，預計將繼續采用RJ45作為接口標準。定義銅纜級別為CAT.8，可以支持40G BASE-T網(wǎng)絡(luò )傳輸距離達到30米的距離，基本滿(mǎn)足數據中心40G鏈路55%的距離。銅纜支持40G的應用是對40G標準的一個(gè)重要補充，雖然距離比較短僅30米，在規模較大的數據中心主干內無(wú)法成為主流。但預期銅纜方案的成本優(yōu)勢將對大量規模較小的數據中心建設來(lái)說(shuō)，是一種較有優(yōu)勢的方案,有助于促使數據中心更快及更大范圍推進(jìn)40G網(wǎng)絡(luò )的應用。

        三、支持大數據網(wǎng)絡(luò )物理層技口技術(shù)分析

        當網(wǎng)絡(luò )主干走向40G/100G的高速網(wǎng)絡(luò )時(shí)，數據中心接入層設備與服務(wù)器網(wǎng)絡(luò )接口從1000M走向10G是必然，過(guò)去的接入層網(wǎng)絡(luò )速率在1000M及以下，采用銅纜RJ45的接口模式在整體市場(chǎng)中處于主導地位。而當網(wǎng)絡(luò )上升到10G時(shí)，將有多種接口模型可供選擇，現階段還沒(méi)有一種接口在市場(chǎng)上形成絕對主流。當前10G接口類(lèi)型較多，技術(shù)要求也差異較大，應用10G接口前需要對主流的技術(shù)方案進(jìn)行綜合評估與分析，以確定什么方案更符合各自的要求。下圖5為目前市場(chǎng)上主流的10G接口及參數以供參考。

圖5

       以上5種類(lèi)型10G接口所列出的數據僅供參考，由于10G的技術(shù)更新速度很快，不同時(shí)間階段對于技術(shù)指標是有差異的。以上幾中10G接口類(lèi)型中，基于功耗、端口密度、支持距離等方面思考，筆者認為長(cháng)遠看CX4銅纜方案并不占有太大的優(yōu)勢。采用CX4接口的10G應用相對少，今后越來(lái)越少的用戶(hù)采用基于CX4接口的10G 應用。而共余4種方式，我們可以通過(guò)幾個(gè)應用方向進(jìn)行分析，可以作為后續10G升級的參考選擇。

       1. SFP+ DAC的10G無(wú)源銅纜解決方案優(yōu)點(diǎn)：接口功耗小，相對成本在4中方案中較低，延時(shí)較低,適應于虛擬化的網(wǎng)絡(luò )環(huán)境。缺點(diǎn)：支持距離太短，基本只能適用于TOR(交換機置頂Top of the Rack)的網(wǎng)絡(luò )架構，不可以自適應向下兼容1000M的網(wǎng)絡(luò )應用。線(xiàn)纜本身故障需要帶SPF+插頭同步更換，維護成本相對較高。適用環(huán)境：應用于網(wǎng)絡(luò )結構相對簡(jiǎn)單，設備變動(dòng)、新增與移動(dòng)較少且維護管理要求不高場(chǎng)合，如業(yè)務(wù)較單一的云計算模塊化數據中心或互連網(wǎng)數據中心等。

       2. SFP+ AOC的10G有源光纜解決方案優(yōu)點(diǎn)：接口功耗較小; 成本比DAC略高但相比其余方案要低，支持距離最長(cháng)可達300米,可以支持EOR等各種網(wǎng)絡(luò )布線(xiàn)架構且光纜直徑較小，可以應用于高密度機柜布置;延時(shí)較低, 適應于虛擬化的網(wǎng)絡(luò )環(huán)境。缺點(diǎn)：不可以自適應向下兼容1000M的網(wǎng)絡(luò )應用。線(xiàn)纜本身采用有源芯片電路，故障率相對高，出現故障需要帶SFP+插頭連同內部光電收發(fā)芯片同步更換，維護成本很高。適用環(huán)境：應用于網(wǎng)絡(luò )管理簡(jiǎn)單、設備變動(dòng)、新增與移動(dòng)較少且對網(wǎng)絡(luò )連接可靠性要求不高的場(chǎng)合，如云計算數據中心或第三方運維托管數據中心，以及網(wǎng)絡(luò )結構單一的備份數據中心等。

       3. SFP+ 10G BASE-SR的光纜解決方案優(yōu)點(diǎn)：芯片技術(shù)成熟，接口功耗較小;支持距離較長(cháng)，OM3光纖300米及OM4光纖550米,可以支持TOR、EOR等各種網(wǎng)絡(luò )布線(xiàn)架構且光纜直徑較小，可以應用于高密度機柜布置; 光模塊與光跳線(xiàn)分離，無(wú)源光跳線(xiàn)可靠性高、日常維護方便、維護成本相對較低, 延時(shí)較低, 靈活適應于各種類(lèi)型網(wǎng)絡(luò )環(huán)境。缺點(diǎn)：不可以自適應向下兼容1000M的網(wǎng)絡(luò )應用，總體方案成本相比較其他方案偏高。適用環(huán)境：應用于網(wǎng)絡(luò )結構復雜、設備變動(dòng)、新增與移動(dòng)比較頻繁且對網(wǎng)絡(luò )連接可靠性與管理要求較高的場(chǎng)合，能適用于各類(lèi)數據中心應用的需要，特別對于金融業(yè)，政府部門(mén)及各類(lèi)企業(yè)級數據中心中應用更合適。

       4. RJ45 BASE-T的銅纜解決方案優(yōu)點(diǎn)：成本相對光纖方案要低，且可以向下自適應1000M網(wǎng)絡(luò )。支持距離較長(cháng)，最長(cháng)可達100米,可以支持TOR、EOR等各種網(wǎng)絡(luò )布線(xiàn)架構。銅纜跳線(xiàn)與端口有源芯片分離，布線(xiàn)可靠性高且日常維護方便、維護成本相對較低,靈活適應于各種類(lèi)型網(wǎng)絡(luò )環(huán)境。缺點(diǎn)：芯片技術(shù)還不太成熟，功耗相對較大，特別是長(cháng)距離應用，線(xiàn)徑粗不適合很高密度的機柜管理，延時(shí)相對大，對云計算虛擬化不利。適用環(huán)境：應用于網(wǎng)絡(luò )結構復雜、設備變動(dòng)、新增與移動(dòng)比較頻繁且對網(wǎng)絡(luò )連接可靠性要求比較高但對密度要求不高且對機房節能要求不高的數據中心環(huán)境，如金融業(yè)，政府部門(mén)及各類(lèi)企業(yè)級數據中心中。

        需要關(guān)注的是，10G BASE-T的芯片技術(shù)還在不斷演進(jìn)，從早期10G BASE-T采用130nm的技術(shù)，到現在的40nm芯片技術(shù)，功耗已經(jīng)從超過(guò)10W每端口降到的4-6W，今后還將有望進(jìn)一步采用28nm芯片，預計功耗可以小于3W。各種10G接口技術(shù)都在進(jìn)步，不同時(shí)期的優(yōu)勢特點(diǎn)也有變化，至于什么技術(shù)在市場(chǎng)上能笑到最后，仍需拭目以待。

        四、大數據提升智能基礎設施管理系統應用價(jià)值

        大數據時(shí)代的數據中心布線(xiàn)系統，我們不僅僅關(guān)注前面所述的作為10G/40G/100G的傳輸通道，管理是數據中心布線(xiàn)的另一項非常重要卻易被忽視的功能。大數據的壓力迫使數據中心發(fā)揮更高運算與數據處理效率，促進(jìn)虛擬化技術(shù)在數據中心中更普遍的應用，而網(wǎng)絡(luò )虛擬化技術(shù)卻進(jìn)一步加劇了物理層管理的難度。智能基礎設施管理系統以管理為核心的理念將在今后的數據中心中發(fā)揮出更大的價(jià)值。參考以下圖6虛擬化網(wǎng)絡(luò )解決方案，下圖為基于數據中心330機架*4總共1320個(gè)機架的網(wǎng)絡(luò )規模，采用TOR的架構，TOR交換下行服務(wù)器機柜采用獨立柜內布線(xiàn)的方式，這部分不是智能基礎設施管理系統實(shí)時(shí)監控的重點(diǎn)，管理的重點(diǎn)是分布式轉發(fā)核心區域，此區域實(shí)際部署過(guò)程中如管理不善極易混亂，采用智能基礎設施管理系統對相應物理鏈路層路由進(jìn)行主動(dòng)管理模式，使得更復雜網(wǎng)絡(luò )正確實(shí)施提供了保障。

圖6 Source From DELL Force10

        虛擬化網(wǎng)絡(luò )為了降低延時(shí)提升數據轉發(fā)效率，采用了非常復雜的交換矩陣，導致鏈路的連接關(guān)系非常復雜，采用傳統手動(dòng)工單對布線(xiàn)系統被動(dòng)管理的方式將很難適應此類(lèi)網(wǎng)絡(luò )結構的管理，同時(shí)項目移交后對用戶(hù)的后續日常維護將造成非常大的困擾。采用智能基礎設施管理系統不僅僅能對布線(xiàn)系統進(jìn)行操作指引與實(shí)時(shí)導航作用，更重要的是智能基礎設施管理系統以流程化主動(dòng)糾錯的模式促使管理人員遵守標準的IT流程化管理要求，提高網(wǎng)絡(luò )與基礎設施的維護效率與管理水平，杜絕因操作錯誤造成系統宕機風(fēng)險與損失。

        大數據時(shí)代的數據中心網(wǎng)絡(luò )核心交換矩陣將采用40G/100G，核心主干物理層網(wǎng)絡(luò )是智能基礎設施管理系統的管理重點(diǎn)。與傳統數據中心相比，如采用相同的行業(yè)模型來(lái)分析投資回報率ROI，假設對于傳統10G核心網(wǎng)絡(luò )，由于管理原因造成數據中心網(wǎng)絡(luò )中斷問(wèn)題產(chǎn)生的損失是1個(gè)單位，而大數據采用40G/100G網(wǎng)絡(luò )在相同宕機時(shí)間的損失可能是4-10個(gè)單位。顯然，在大數據時(shí)代對于智能基礎設施應用的投資回報率更高，從而促使智能基礎設施管理系統應用價(jià)值得到了提升，促進(jìn)智能基礎設施更廣泛地應用在數據中心內。

        五、結束語(yǔ)

        大數據的時(shí)代是數據應用需求的急速增長(cháng)作為驅動(dòng)的源泉，云計算是基于虛擬化技術(shù)發(fā)展而來(lái)，不僅僅為大數據計算處理提供技術(shù)保障，同時(shí)云計算本身也是一種服務(wù)模式，從某一方面來(lái)說(shuō)云計算的大量落地也是促進(jìn)了大數據發(fā)展的原因之一，兩者相輔相成。對于網(wǎng)絡(luò )的基礎架構來(lái)說(shuō)，在大數據與云計算相互促進(jìn)的背景下，網(wǎng)絡(luò )基礎為了不成為整體應用發(fā)展的瓶頸，需要整體網(wǎng)絡(luò )技術(shù)不斷的升級，包括外圍的干線(xiàn)網(wǎng)絡(luò )、LTE第四代移動(dòng)網(wǎng)絡(luò )以及FTTH光纖到戶(hù)等。而數據中心的物理層網(wǎng)絡(luò )是支持云計算大數據的核心，也是最迫切需要得到提升的關(guān)鍵基礎設施，數據中心網(wǎng)絡(luò )物理層行業(yè)標準化發(fā)展相比較實(shí)際應用需求保持一定的領(lǐng)先性，10G/40G/100G等網(wǎng)絡(luò )基礎與接口技術(shù)逐步走向成熟為大數據鋪平了道路。大數據時(shí)代數據中心網(wǎng)絡(luò )基礎的復雜性，又使得智能基礎設施管理系統的應用價(jià)值得到了良好的體現。數據中心網(wǎng)絡(luò )基礎技術(shù)已經(jīng)作好準備以迎接大數據時(shí)代的到來(lái)。