光纖連接如何推動(dòng)生成式人工智能革命

  當你想到人工智能時(shí)，腦中會(huì )浮現什么??

  GENERATIVE AI

  早在半年前，ChatGPT就能夠像人類(lèi)一樣提供答案，這些答案既符合語(yǔ)境，又具有技術(shù)上的合理性。但人工智能局限性也很明顯，它會(huì )以要點(diǎn)形式給出回答，但實(shí)際上只是一個(gè)AI模型。

  現在，當在ChatGPT上輸入一個(gè)問(wèn)題時(shí)，它的反應已經(jīng)十分迅速，對此，ChatGPT的創(chuàng )建者們實(shí)現了哪些改變?

  最有可能的情況是，為滿(mǎn)足超過(guò)1億用戶(hù)的需求，OpenAI擴展了其人工智能集群的推理能力。據報道，在人工智能芯片制造商中處于領(lǐng)先地位的英偉達(NVIDIA)已供應大約20,000個(gè)圖形處理單元(GPU)，用于支持ChatGPT的開(kāi)發(fā)，且有大幅增加圖形處理單元使用的計劃。有人推測，他們即將推出的人工智能模型可能需要多達1000萬(wàn)個(gè)圖形處理單元。

  GPU集群架構：

  生成式人工智能的基礎

  - GPU cluster architecture —

  the foundation of generative AI -

  理解20,000個(gè)GPU的概念是容易辦到的，但通過(guò)1000萬(wàn)個(gè)GPU的光連接來(lái)執行智能任務(wù)很具有挑戰性。

  如何先配置好較小的單元，逐漸將其擴大至包含數千個(gè)GPU的集群?我們以基于傳統的超算(HPC)網(wǎng)絡(luò )而編寫(xiě)的英偉達設計指南為例。

  根據設計指南的建議，該過(guò)程使用多個(gè)具有256個(gè)GPU pod的較小單元(可擴展單元)來(lái)構建大量GPU集群。每個(gè)pod由8個(gè)服務(wù)器機架和2個(gè)網(wǎng)絡(luò )機架(位于一排機柜中間位置)組成。這些pod內部以及相互之間的連接通過(guò)InfiniBand(部署在英偉達的Quantum-2交換機上的高速、低延遲交換協(xié)議)協(xié)議建立。

  當前的InfiniBand交換機使用32個(gè)800G OSFP收發(fā)器，采用400G(NDR)雙端口。每個(gè)端口使用8芯光纖，因此每臺交換機有64x400G端口。且即將到來(lái)的新一代交換機，很大可能將采用XDR端口。這意味著(zhù)每臺交換機將有64x800G端口，每個(gè)端口也使用8芯光纖(主要是單模光纖)。

  如表1所示，該4通道(8芯光纖)模式在InfiniBand路線(xiàn)圖中反復出現，且未來(lái)將使用更快的速度。

  * 在4X(4通道)以Gb/s為單位表示鏈路速度

  就布線(xiàn)而言，在超算(HPC)領(lǐng)域普遍采用的最佳做法是：采用點(diǎn)對點(diǎn)有源光纜(AOC)。然而，隨著(zhù)(MPO)光纖連接器接口的最新NDR端口的推出，點(diǎn)對點(diǎn)連接的情形已從AOC光纜轉變?yōu)镸PO-MPO無(wú)源跳線(xiàn)。在考慮單個(gè)具有256個(gè)GPU的pod時(shí)，利用點(diǎn)對點(diǎn)連接沒(méi)有什么大問(wèn)題。但是在追求更大的規模時(shí)就遇到了問(wèn)題，例如16k GPU需要64個(gè)具有256個(gè)GPU的pod實(shí)現互連。這些高性能GPU集群使用的計算結構對于線(xiàn)路路由優(yōu)化有極高的要求。在線(xiàn)路路由優(yōu)化設置中，來(lái)自每個(gè)計算系統的所有主機通道適配器(HCA)均連接至同一個(gè)葉交換機(leaf switch)。

  據說(shuō)該設置對于最大限度提高深度學(xué)習(DL)訓練性能至關(guān)重要。一個(gè)標準的H100計算節點(diǎn)配備4個(gè)雙端口OSFP，轉換為8個(gè)上行鏈路端口(每個(gè)GPU一個(gè)獨立上行鏈路)與八個(gè)不同的葉交換機連接，由此建立一個(gè)8條線(xiàn)路優(yōu)化結構。

  該設計在處理單個(gè)具有256個(gè)GPU的pod時(shí)可以無(wú)縫工作。但如果目標是構建一個(gè)包含16,384個(gè)GPU的集群時(shí)該怎么辦?在這種場(chǎng)景中，有必要增加兩個(gè)交換層：來(lái)自每個(gè)pod的第一個(gè)葉交換機與脊交換機組一(SG1)中的每個(gè)交換機連接，每個(gè)pod內的第二個(gè)葉交換機與脊交換機組二(SG2)中的每個(gè)交換機連接，以此類(lèi)推。為取得完全實(shí)現的胖樹(shù)(fat-tree)拓撲結構，必須加入第三層核心交換組(CG)。

  讓我們回顧一下16,384個(gè)GPU集群的光纜連接數量。計算節點(diǎn)和葉交換機之間建立連接需要16,384根光纜，每個(gè)pod有256根MPO跳線(xiàn)。在開(kāi)始網(wǎng)絡(luò )拓展的過(guò)程時(shí)，建立葉-脊連接和脊-核心連接的任務(wù)變得更具有挑戰性。涉及到先捆扎多根MPO跳線(xiàn)，然后將其敷設50米至500米不等的距離。

  有沒(méi)有更高效的運營(yíng)方式?一個(gè)建議是采用結構化布線(xiàn)系統，該系統采用兩個(gè)接線(xiàn)板設計，利用大芯數MPO干線(xiàn)，可能采用144根光纖。這樣就能把18根MPO跳線(xiàn)(18x8=144)合并成一根干線(xiàn)光纜，一次敷設完成。通過(guò)在端點(diǎn)使用合適的MPO適配器面板，可將它們拆開(kāi)為多根8芯光纜，并與恰當的線(xiàn)路連接，避免捆綁多根MPO跳線(xiàn)帶來(lái)的復雜度。

  對于一個(gè)非阻塞結構，每個(gè)pod需要256條上行鏈路。我們可選擇從每個(gè)pod拉出15x144根光纖干線(xiàn)，產(chǎn)生270(15x18)上行鏈路(只需使用15個(gè)大芯數線(xiàn)纜)。另外，該設置提供14(270-256)個(gè)備用連接，可作備份或用于存儲或管理網(wǎng)絡(luò )連接。

  人工智能在理解問(wèn)題方面取得了重大進(jìn)展。就實(shí)現這種轉變而言，尋求能夠支持廣泛GPU集群(包括16K GPU或24K GPU)的布線(xiàn)解決方案，是這一難題的重要組成部分，也是光連接行業(yè)面臨的挑戰。

關(guān)于作者

Mustafa Keskin

康寧光通信

應用解決方案經(jīng)理

  在光纖行業(yè)擁有19年的經(jīng)驗，擅長(cháng)根據行業(yè)趨勢和客戶(hù)洞察研究，為數據中心和運營(yíng)商中央辦公空間確定架構解決方案。

  此前，作為全球團隊的一員，他在數據中心EDGE8光纜系統的開(kāi)發(fā)中發(fā)揮了重要作用;