浸沒(méi)式液冷數據中心布線(xiàn)系統應用技術(shù)分析（下）

  引言

  前一期我們的文章《浸沒(méi)式液冷數據中心技術(shù)淺析》中我們已經(jīng)總體分析了浸沒(méi)式液冷的技術(shù)特點(diǎn)與應用優(yōu)勢與發(fā)展的前景。采用浸沒(méi)式液冷這種技術(shù)的最終目的是想要提高數據中心單機柜的功率從而提升單位面積的計算密度，與此同時(shí)實(shí)現單位能源與資源消耗的最大能效比，即實(shí)現綠色節能的目標。所以提升IT設備運行效率是浸沒(méi)式液冷數據中心追求的目標。而作為IT設備數據通信的紐帶即數據中心網(wǎng)絡(luò )布線(xiàn)系統，我們需要考慮的是當布線(xiàn)系統浸沒(méi)于冷卻液的情況下，需要分析傳統的布線(xiàn)系統是否還適合于這種場(chǎng)景，冷卻液的化學(xué)特性決定了布線(xiàn)系統的材料選擇上有不同。如果傳輸系統采用光學(xué)，光學(xué)通信接口浸沒(méi)于冷卻液的情況下會(huì )有不同的要求等等需要重新考慮。隨著(zhù)網(wǎng)絡(luò )傳輸速率從主干100G升級到400G以及未來(lái)的800G，對于布線(xiàn)系統性能的敏感性更高?；诖?，浸沒(méi)式液冷數據中心布線(xiàn)系統的要求值得我們作專(zhuān)題探討。

  浸沒(méi)式液冷對布線(xiàn)系統的要求

  一，冷卻液材料兼容性的要求：

  由于冷卻液是一種復合性的化學(xué)材料，當整體布線(xiàn)系統長(cháng)期浸入冷卻液時(shí)，需要驗證布線(xiàn)系統的每種材料與冷卻液的相容性問(wèn)題，會(huì )不會(huì )由于長(cháng)期浸泡產(chǎn)生化學(xué)反應而導致出現問(wèn)題。我們以業(yè)界比較知名的3M公司的兩種最常用的冷卻液用于單相液冷3M? Fluorinert? FC-3283以及兩相液冷3M? Fluorinert? FC-72為例，可以參考相關(guān)的兼容性的要求如下：

注：材料兼容性分類(lèi)表來(lái)源于3M

  二，高帶寬對布線(xiàn)系統的要求：

  傳統數據中心由于采用風(fēng)冷為主，基于風(fēng)冷的制冷效率，需要防止服務(wù)器過(guò)熱導致無(wú)法穩定運行，這是服務(wù)器運算效率無(wú)法提升的瓶頸，傳統數據中心普遍單機柜的配電量在10KW以下，而浸沒(méi)式液冷數據中心由于冷卻效率高于傳統的數據中心25倍，從而單機柜的配電量可以達到50KW以上甚至未來(lái)達到100KW。這樣的功率密度下，浸沒(méi)式液冷數據中心的運算與處理效率是傳統數據中心幾倍甚至幾十倍，所以浸沒(méi)式液冷數據中心天然地適合于高性能運算并需要高帶寬的網(wǎng)絡(luò )支持，服務(wù)器端口可以有支持50G/100G及未來(lái)200G/400G,而主干應用可以支持100G/400G以及未來(lái)800G以上的帶寬的應用，甚至不排除未來(lái)采用CPO集成式封裝的光器件支持1.6T及以上?；谝陨系膸挼囊?，高帶寬應用的主流傳輸技術(shù)主要依靠光纖技術(shù)。采用浸沒(méi)式液冷的數據中心必然與高帶寬的網(wǎng)絡(luò )相配套，所以對布線(xiàn)系統的要求主體需要重點(diǎn)關(guān)注于高帶寬的光纖布線(xiàn)系統。

注：圖片來(lái)源于3M

  三，可維護性與管理的要求：

  浸沒(méi)式液冷數據中心應用條件高密度是一個(gè)重要特征，高密度的條件下數據中心網(wǎng)絡(luò )路由錯綜復雜。數據中心的布線(xiàn)系統不僅僅是要滿(mǎn)足帶寬的要求，同時(shí)布線(xiàn)系統也是對整體數據中心網(wǎng)絡(luò )路由起到管理的作用。數據中心布線(xiàn)系統的管理主要涉及到IT設備間的系統路由的標識、設備新增移動(dòng)時(shí)的系統管理，設備維護及測試檢修時(shí)的系統管理等多個(gè)方面。浸沒(méi)式液冷數據中心的機柜與傳統數據中心機柜不同，浸沒(méi)式液冷機柜為了防止冷卻液的揮發(fā)，通常是采用封閉式的箱體。在這樣的條件下需要用更創(chuàng )新的布線(xiàn)系統實(shí)現系統的可維護性與管理的要求。

注：圖片來(lái)源于3M

  浸沒(méi)式液冷對布線(xiàn)系統的挑戰：

  一，布線(xiàn)材料與冷卻液的化學(xué)不兼容的挑戰

  不兼容性會(huì )導致產(chǎn)生化學(xué)反應，使得布線(xiàn)產(chǎn)品的從材料的角度產(chǎn)生變脆、熔脹等問(wèn)題，或布線(xiàn)產(chǎn)品的材料與冷卻液惡化，或產(chǎn)生燃燒，高壓分解等不可預測的問(wèn)題，這將是有別是傳統布線(xiàn)系統所沒(méi)有的挑戰。

  二，光學(xué)性能的挑戰

  光纖布線(xiàn)系統浸沒(méi)于冷卻液中，光纖端面可能流入冷卻液，而冷卻液體與石英玻璃材料的光學(xué)折射率不同，導致衰減過(guò)大或根本無(wú)法正常通信，而之前分析中浸沒(méi)式液冷的數據中心通常應用于高性能計算等帶寬要求高的場(chǎng)景，這種場(chǎng)景對于光學(xué)性能要求更高，這將是面臨的另一個(gè)挑戰。

  三，系統管理上的挑戰

  所有布線(xiàn)系統安裝于封閉式液冷柜內，布線(xiàn)系統又浸沒(méi)于冷卻液內，如何才能便利地高效地對系統路由進(jìn)行維護與管理將變成一個(gè)大問(wèn)題，如果處理不當，將可能導致系統宕機并產(chǎn)生重大經(jīng)濟損失。

  浸沒(méi)式液冷布線(xiàn)系統解決方案

  數據中心布線(xiàn)系統與網(wǎng)絡(luò )結構直接相關(guān)，數據中心的布線(xiàn)系統的管理核心在于核心網(wǎng)絡(luò )Core Network位置的MDA主配線(xiàn)區域的管理，同時(shí)對于數據中心Spine主干網(wǎng)絡(luò )的匯聚層IDA中間配線(xiàn)區或接邊緣網(wǎng)絡(luò )Leaf交換機位置的HDA水平配線(xiàn)區，當此處采用交叉布線(xiàn)管理時(shí)，此處可以仍然采用非浸入式的管理，保持管理的便利與效率。而液冷柜內的網(wǎng)絡(luò )主要是處于TOR架構的EDA區域，此處需要采用特殊的布線(xiàn)系統進(jìn)行連接與管理，總體的架構的圖示如下：

系統架構圖

系統平面圖展示

  在高性能計算的場(chǎng)景下，采用光纖系統顯然是保證帶寬要求的最佳系統，當然在傳輸速率不高以及傳輸距離5米以下的情況下，DAC直連銅纜也可以實(shí)現部分目標，但柜內的數據中心應用不僅僅是TOR的短距離連接，還有部分布線(xiàn)是從TOR交換機上行的線(xiàn)纜，這部分線(xiàn)纜距離比較長(cháng)，DAC無(wú)法滿(mǎn)足要求。而如果采用傳統的光模塊加光纖跳線(xiàn)產(chǎn)品的配合的情況下，如果要達到理想的高帶寬以及高的交換機端口密度，難于保證光模塊端部的光纖連接在冷卻液進(jìn)入后的正常光通信?；谝陨戏治?，新一代基于浸沒(méi)式液冷的AOC產(chǎn)品可以實(shí)現帶寬與傳輸距離的要求，在A(yíng)OC上采用創(chuàng )新的專(zhuān)用防水連接即保證的維護管理的便利性，同時(shí)在光收發(fā)器內部采用專(zhuān)用的防水設計可以保證AOC在整體光學(xué)通道上與冷卻液的隔離，從而不會(huì )影響高帶寬狀態(tài)下的通信。

液冷柜專(zhuān)用AOC配線(xiàn)系統

液冷柜專(zhuān)用AOC上的Mini-RMC防水連接

  上圖為創(chuàng )新的防水AOC的解決方案，每個(gè)液冷柜可以安裝上AOC的配線(xiàn)系統，每根液冷柜專(zhuān)用AOC上安裝有Mini-RMC防水連接器，此連接器可以達到IP67級的防水，AOC可以支持單?；蚨嗄６嘈?-16芯光纖的應用，達到100G/200G/400G的應用，未來(lái)可以擴展到800G。Mini-RMC配合專(zhuān)用配線(xiàn)槽可以靈活安裝于液冷柜內部或機體側面，應用時(shí)不用插拔AOC兩端浸在冷卻液側的收發(fā)器，有需要時(shí)可以快速通過(guò)打開(kāi)每根AOC中間的Mini-RMC連接器進(jìn)行管理、維護與檢測。

  關(guān)于我們文章前面提及的材料與冷卻液的兼容性問(wèn)題，需要做浸沒(méi)液冷的材料兼容性驗證，以3M的冷卻液為例，高沸點(diǎn)單相液體(FC-3283)采用80度下浸泡48小時(shí)后的兼容性模擬真實(shí)條件下的測試，低沸點(diǎn)兩相液體(FC-72)采用索式提取器萃取48小時(shí)后的兼容性模擬極端條件下的測試，所有經(jīng)過(guò)實(shí)驗室測試驗證后的布線(xiàn)系統，才能應用到浸沒(méi)式的液冷數據中心內。

  趨勢與展望

  浸沒(méi)式液冷數據中心是數據中心基礎設施的重大創(chuàng )新，解決了數據中心長(cháng)期以來(lái)單機柜功率無(wú)法幾何級提升的難題。當前來(lái)看浸沒(méi)式液冷的總體成本比傳統數據中心要高，但在部分高性能計算以及超低PUE目標的催生下，這將成為數據中心技術(shù)發(fā)展的路線(xiàn)之一，而且市場(chǎng)年均增長(cháng)率超過(guò)30%，是快速發(fā)展的潛力市場(chǎng)。與之相配套的浸沒(méi)式液冷數據中心的布線(xiàn)系統需要根據環(huán)境要求進(jìn)行配套創(chuàng )新，長(cháng)期來(lái)看，基于A(yíng)OC技術(shù)的布線(xiàn)在解決上述三大挑戰后，將成為浸沒(méi)式液冷應用的優(yōu)先選擇的對象，德國羅森伯格以Mini-RMC的連接技術(shù)為基礎進(jìn)行系統化創(chuàng )新并結合防冷卻液的AOC定制化開(kāi)發(fā)將為未來(lái)浸沒(méi)式液冷數據中心布線(xiàn)系統的應用鋪平道路。