康寧：人工智能及其對數據中心的影響

  這可能有助于發(fā)現新的效率水平，伴隨的是帶寬需求的大幅增加   Tony Robinson, Corning

  ICCSZ訊 電影制作人如何能夠將那些在當時(shí)看來(lái)與現實(shí)相去甚遠的概念引入我們的日常生活中，這一點(diǎn)一直讓人感到驚奇。1990年，阿諾德施瓦辛格(Arnold Schwarzenegger)的電影《Total recall》向我們展示了“Johnny Cab”，這是一種無(wú)人駕駛汽車(chē)，可以載著(zhù)我們去任何想去的地方?，F在，大多數大型汽車(chē)公司都在投資數百萬(wàn)美元將這項技術(shù)推廣到大眾。多虧了《回到未來(lái)2》(Back to the Future II)，馬蒂·麥克弗萊(Marty McFly)在磁浮滑板上躲避暴徒，可以讓我們的孩子們站在類(lèi)似于1989年我們看到的東西上撞向家具(以及彼此)。

  回到1968年(我們有些人還能記得)，我們用HAL 9000(電影《2001太空漫游》中發(fā)現號宇宙飛船上的一臺有感知的計算機)接觸到了人工智能(AI)。HAL能夠說(shuō)話(huà)和面部識別，自然語(yǔ)言處理，唇讀，藝術(shù)欣賞，解釋情感行為，自動(dòng)推理，甚至可以下棋。

  快進(jìn)到過(guò)去幾年，您可以非?？焖俚拇_定AI已經(jīng)成為我們日常生活中不可或缺的一部分。您可以向智能手機詢(xún)問(wèn)下一個(gè)旅行目的地的天氣情況，虛擬助理可以播放您喜歡的音樂(lè )，您的社交媒體賬戶(hù)將根據您的個(gè)人喜好更新新聞和廣告。 沒(méi)有冒犯科技公司的意思，這就是AI 101。

  但是在這個(gè)背景下發(fā)生的事情太多了，我們看不到這有助于改善，甚至拯救生活。語(yǔ)言翻譯、新聞推送、面部識別、復雜疾病的更準確診斷以及藥物研發(fā)速度的加快，只是企業(yè)開(kāi)發(fā)和部署人工智能的部分應用。據Gartner預測，人工智能帶來(lái)的商業(yè)價(jià)值到2022年將達到3.9萬(wàn)億美元。

  縝密思考的服務(wù)器

  那么人工智能是如何影響數據中心的呢?早在2014年，Google就在他們的一個(gè)數據中心部署了Deepmind AI(使用人工智能的一種應用——機器學(xué)習)。結果呢?他們能夠持續地減少40%用于冷卻的能量，這相當于在考慮到電氣損耗和其他非冷卻效率之后，總PUE開(kāi)銷(xiāo)減少15%。這產(chǎn)生了該數據中心見(jiàn)過(guò)的最低PUE?；谶@些顯著(zhù)的節省，Google希望在他們的其他數據中心里部署這項技術(shù)，并建議其他公司也這樣做。

  Facebook的使命是“賦予人們建立社區的力量，讓世界更緊密地聯(lián)系在一起”，他們在白皮書(shū)《Facebook應用機器學(xué)習:數據中心基礎設施的視角》(Applied Machine Learning at Facebook: A Datacenter Infrastructure Perspective)中概述了這一點(diǎn)。它描述了在全球范圍內支持機器學(xué)習的硬件和軟件基礎架構。

  為了讓你對AI和ML需要多少計算能力有個(gè)基本概念，百度硅谷實(shí)驗室的首席科學(xué)家Andrew Ng表示，訓練一個(gè)百度的中文語(yǔ)音識別模型不僅需要4 terabytes的訓練數據，還需要20個(gè)計算機的exaflops計算量，也就是整個(gè)培訓周期內需要200億億次數學(xué)運算。

  但是我們的數據中心基礎設施呢?人工智能是如何影響不同規模和類(lèi)型基礎設施的設計和部署的，我們正在建造、租用或升級數據中心基礎設施，以適應這種創(chuàng )新的、節省成本的和更為高效的技術(shù)。

  ML可以在一臺機器上運行，但由于難以置信的數據吞吐量通常會(huì )在多臺機器上運行。所有機器都互相連接，在訓練和數據處理階段，所有設備都相互連接，以確保持續的通信和低延遲，絕對不會(huì )中斷在我們指尖、屏幕或音頻設備上的服務(wù)。作為一個(gè)人類(lèi)，我們對越來(lái)越多數據的渴望正在推動(dòng)帶寬指數的增長(cháng)，以滿(mǎn)足我們最簡(jiǎn)單的想法。

  這種帶寬需要在設備內部和跨多個(gè)設備分布，使用更復雜的架構設計(spine-and-leaf)。我們說(shuō)的super-spine和super-leaf它們?yōu)樗袕碗s的算法提供了一條高速公路，以便數據在不同的設備之間傳輸，最終回到我們的接收器。

  數據中心中的技術(shù)部署選項

  這就是光纖在將您的特殊(或搞怪)時(shí)刻的圖片或視頻播放給全世界觀(guān)看，分享和評論方面發(fā)揮關(guān)鍵作用的地方。與銅纜相比，光纖具有高速和超高密度的性能，已成為我們數據中心基礎設施中的實(shí)際傳輸介質(zhì)。隨著(zhù)我們向更高的網(wǎng)絡(luò )速度遷移，還在混合部署中引入了全新的復雜性，也就是將采用哪種技術(shù)?

  傳統的3層網(wǎng)絡(luò )架構使用核心、聚合和邊緣交換來(lái)連接數據中心內的不同服務(wù)器，服務(wù)器間的通信通過(guò)光收發(fā)器以南北向的方式彼此通信。然而現在，非常感謝AI和ML為游戲帶來(lái)的高計算要求和相互依賴(lài)性,更多的網(wǎng)絡(luò )使用2層的spine-and-leaf網(wǎng)絡(luò ),由于生產(chǎn)和培訓網(wǎng)絡(luò )所需的超低延遲，服務(wù)器之間以東西方向進(jìn)行通信。

  自2010年IEEE批準40G和100G網(wǎng)絡(luò )傳輸技術(shù)標準以來(lái)，出現了許多相互競爭的解決方案，這些解決方案在一定程度上影響了用戶(hù)的判斷，因為他們不確定應該采用哪種方式。解釋一下，在40G之前，我們使用的是SR(即多模的短距離傳輸)和LR(即單模的長(cháng)距離傳輸)。兩者都使用一對光纖在兩個(gè)設備之間傳輸信息。無(wú)論您使用哪種設備或在該設備中安裝了哪種收發(fā)器，這都是通過(guò)兩芯光纖進(jìn)行的簡(jiǎn)單數據交換。

  但是隨著(zhù)IEEE批準了40G及更高速率的解決方案后，游戲規則發(fā)生了改變?，F在我們正在研究使用標準批準的或專(zhuān)有的兩種方案，專(zhuān)有的WDM技術(shù)，和標準批準的、或多源協(xié)議(MSAs)認可的并行光學(xué)技術(shù)，并行光學(xué)技術(shù)使用8芯光纖(4芯發(fā)送和4芯接收)或20芯光纖(10芯發(fā)送和10芯接收)。

  如果您想使用標準認可的解決方案并降低光學(xué)器件成本，并且在不需要單模光纖的長(cháng)距離能力的情況下，您可以選擇多模并行光學(xué)技術(shù)。它還可以讓您將高速40或100G的交換機端口拆分為更靈活的10或25G服務(wù)器端口。我將在本文中更詳細的介紹這一點(diǎn)。

  如果您希望延長(cháng)已安裝的雙工光纖系統的使用壽命，并且不介意在沒(méi)有通用性選項的情況下繼續使用單一的硬件供應商，也不需要更長(cháng)的傳輸距離，那么您可以選擇多模WDM解決方案。

  現在我要告訴你的是，大多數大規模部署人工智能的科技公司都在為今天和明天的網(wǎng)絡(luò )設計…單模并行光學(xué)系統。這里有三個(gè)簡(jiǎn)單的原因。

  1.成本和距離

  目前的市場(chǎng)趨勢是并行光學(xué)解決方案首先開(kāi)發(fā)和發(fā)布，幾年后WDM解決方案也隨之發(fā)布，因此使用并行光學(xué)解決方案的數量大大增加，從而降低了制造成本。 與2 km和10 km WDM解決方案相比，并行光學(xué)解決方案支持更短的距離，因此您不需要太多復雜的組件來(lái)冷卻激光器，并對兩端信號進(jìn)行復用和解復用。雖然我們已經(jīng)看到這些“超大型”設施的規模已經(jīng)激增到3-4個(gè)足球場(chǎng)的大小，但我們的數據顯示，單模光纖的平均部署長(cháng)度尚未超過(guò)165米，因此無(wú)需使用更昂貴的WDM收發(fā)器來(lái)滿(mǎn)足他們不需要支持的距離。

  2.靈活性

  部署并行光學(xué)設備的一個(gè)主要優(yōu)勢是能夠使用高速交換機端口，比如40G，并將其分解為4x10G服務(wù)器端口。端口拆分提供了巨大的經(jīng)濟性，因為拆分低速端口可以顯著(zhù)的將電子設備的機箱或機架安裝單元數量減少到1/3(數據中心資產(chǎn)并不便宜)，并且使用更少的電源，需要更少的冷卻，從而進(jìn)一步降低能源消耗。我們的數據顯示這相當于在單模解決方案上節省30%。光纖收發(fā)器供應商還確認，在所有銷(xiāo)售的并行光收發(fā)器中，有很大一部分是為了利用這個(gè)端口拆分能力而部署的。

  3.簡(jiǎn)單清晰的遷移

  主要交換機和收發(fā)器廠(chǎng)商的技術(shù)路線(xiàn)圖為部署并行光學(xué)的客戶(hù)提供了非常清晰和簡(jiǎn)單的遷移路徑。我之前提到過(guò)，大多數科技公司都遵循這條路徑，所以當系統從100G遷移到200g或400G時(shí)，光纖基礎設施仍然保持不變，不需要任何升級。那些決定使用雙工，2芯光纖為布線(xiàn)基礎的公司可能會(huì )發(fā)現他們想要升級到100G以上，WDM光學(xué)技術(shù)可能無(wú)法在其遷移計劃的時(shí)間范圍內完成。

  對數據中心設計的影響

  從連接性的角度來(lái)看，這些網(wǎng)絡(luò )是高度網(wǎng)狀的光纖基礎設施，以確保沒(méi)有任何一臺服務(wù)器彼此之間的網(wǎng)絡(luò )跳數超過(guò)兩個(gè)。但是帶寬需求如此之大，以至于從spine交換機到leaf交換機的3:1的收斂比配置是不夠的，因此更常用的是從不同數據核心之間的超級spine進(jìn)行分布式計算。

  由于交換機IO速度的顯著(zhù)提高，網(wǎng)絡(luò )運營(yíng)商正在努力提高利用率，我們通過(guò)使用從spine到leaf的1:1收斂比例設計系統，達到了更高的效率和超低的延遲，在當今的人工智能環(huán)境中，這是一個(gè)昂貴但必要的需求。

  此外，在谷歌最近宣布推出最新的人工智能硬件后，我們又一次改變了傳統的數據中心設計，這是一種定制的專(zhuān)用集成電路，稱(chēng)為張量處理單元(TPU 3.0)，在其巨大pod設計中，其功率將是過(guò)去的TPU的8倍，超過(guò)100 petaflops。但是，在芯片中加入更多的計算能力也會(huì )增加驅動(dòng)它的能量，因此也會(huì )增加熱量，這也是為什么大量的聲明聲稱(chēng)，由于TPU 3.0產(chǎn)生的熱量已經(jīng)超過(guò)了以前的數據中心冷卻解決方案的限制，將轉向對芯片進(jìn)行液體冷卻的原因。

  最后

  人工智能是下一波商業(yè)創(chuàng )新。它所帶來(lái)的優(yōu)勢來(lái)自運營(yíng)成本的節約、額外的收入流、簡(jiǎn)化以及更高效的客戶(hù)交互，數據驅動(dòng)的工作方式帶來(lái)的優(yōu)勢太有吸引力了——不僅對CFO和股東如此，對客戶(hù)也是如此。這一點(diǎn)在最近的一次組內討論中得到了證實(shí)，專(zhuān)家當時(shí)表示使用聊天機器人的網(wǎng)站，如果效率不高且客戶(hù)關(guān)注度不夠，客戶(hù)就會(huì )放棄對話(huà)，并且很難再次合作。

  因此，我們必須接受這項技術(shù)并從中受益，這也意味著(zhù)采用一種不同的方式來(lái)思考數據中心的設計和實(shí)施。由于A(yíng)SIC的性能顯著(zhù)提高，我們最終會(huì )看到IO速度的提高，從而進(jìn)一步提高系統的聯(lián)通性。概括來(lái)講，您的數據中心在支持ML訓練的同時(shí)，需要超高效率，高密度，超低延遲，東西向的spine-and-leaf光纖網(wǎng)絡(luò )，以適應您的日常流量需求。

  我們已經(jīng)看到，主要的科技公司是如何接受人工智能的，以及采用并行單模技術(shù)如何幫助它們比傳統的雙工模式獲得更好的資本和運營(yíng)成本的，后者承諾從第一天起就降低成本。但是，數據中心的運營(yíng)從第二天就開(kāi)始了，隨著(zhù)我們個(gè)人及行業(yè)內交流習慣和方式的不斷變化、速度的提高和復雜性的增加，數據中心的運營(yíng)也在不斷發(fā)展?，F在部署正確的布線(xiàn)基礎設施解決方案，將使您的企業(yè)從一開(kāi)始就獲得更大的經(jīng)濟效益，留住和吸引更多的客戶(hù)，并使您的數據中心設施能夠更靈活的蓬勃發(fā)展。