利用芯片到芯片的光學(xué)互連來(lái)釋放人工智能的全部潛力

  共封裝光學(xué)器件(CPO)由于其在數據中心的電源效率，最近獲得了關(guān)注。雖然大多數針對網(wǎng)絡(luò )應用的CPO的主要支持者，由于宏觀(guān)經(jīng)濟的阻力而停止了CPO計劃，但用于人工智能(AI)和機器學(xué)習(ML)系統的CPO的情況卻有所不同。人工智能模型對計算能力、存儲和數據移動(dòng)有著(zhù)永不滿(mǎn)足的需求，而傳統架構正在成為擴展ML的主要瓶頸。因此，為HPC和新的分布式系統架構，出現了新的光學(xué)互連。Yole集團旗下的Yole Intelligence在其新報告《數據中心的共封裝光學(xué)技術(shù)》中對此進(jìn)行了回顧。用于xPU、內存和存儲的封裝內光學(xué)I/O技術(shù)可以幫助實(shí)現必要的帶寬。此外，未來(lái)數十億個(gè)光互連的潛力正在推動(dòng)大型代工廠(chǎng)為設計公司的任何PIC架構的大規模生產(chǎn)(包括硅光子學(xué)工藝流程)做準備。2022年CPO收入約為3800萬(wàn)美元，預計2033年將達到26億美元，2022-2033年年均復合增長(cháng)率為46%，受AI/ML裝備中數據加速傳輸的推動(dòng)。

  AyarLabs的TeraPHY?光學(xué)I/O芯片和SuperNova?光源的結合，以更低的延遲、更遠的距離和現有電氣I/O解決方案的一小部分功率，大幅提高帶寬。其封裝內部的光學(xué)I/O解決方案正在顛覆半導體和計算行業(yè)的傳統性能、成本和效率曲線(xiàn)。Yole Intelligence的高級分析師Martin Vallo有幸采訪(fǎng)了Ayar實(shí)驗室商業(yè)運營(yíng)副總裁Terry Thorn，討論了數據中心應用的光互連的當前趨勢。

  Martin Vallo： 我們的最后一次采訪(fǎng)是在2021年，當時(shí)你介紹了你的突破性光學(xué)I/O解決方案，實(shí)現了計算芯片之間的光通信?，F在你們有什么新情況?

  Terry Thorn： 在過(guò)去的18個(gè)月里，我們啟動(dòng)了幾個(gè)備受矚目的戰略伙伴關(guān)系，同時(shí)也與大批量的代工廠(chǎng)、激光器和供應鏈合作伙伴建立了關(guān)鍵關(guān)系。2022年開(kāi)始，我們慶祝了與惠普企業(yè)的戰略合作。此后不久，Global Foundries宣布了其新的Fotonix制造工藝，我們在2021年6月的OFC2022上用它來(lái)展示了我們的第一個(gè)工作硅。

  其他重要的里程碑包括我們1.3億美元的C輪融資，以及與GPU和人工智能強手英偉達和領(lǐng)先的航空航天和國防承包商洛克希德-馬丁公司合作開(kāi)發(fā)光互連。在2022年結束時(shí)，我們與美國國防部簽訂了1500萬(wàn)美元的多年期項目KANAGAWA，該項目將促進(jìn)Ayar Labs光學(xué)互連的下一步發(fā)展，引領(lǐng)其過(guò)渡到國防部的先進(jìn)封裝生態(tài)系統。

  最近，我們舉行了一次光學(xué)I/O解決方案的現場(chǎng)演示，成功展示了每秒4兆比特(雙向)的數據傳輸。我們還在生態(tài)系統合作伙伴的展位上展示了我們的技術(shù)，包括Global Foundries、Quantifi Photonics和Sivers Photonics。在今年的OFC上，我們在封裝邊緣與英特爾的可拆卸光學(xué)連接器的解決方案原型的揭幕，也引起了很多人的興趣。在傳統的邊緣耦合方法中，光纖帶是用環(huán)氧樹(shù)脂永久地連接到V型槽中的?？刹鹦妒焦膺B接器提供了一種更換光纖帶的方法。仍在開(kāi)發(fā)中的可拆卸式光連接器有希望獲得更高的封裝產(chǎn)量和易于現場(chǎng)更換。

  我們還看到，使用芯片粒(chiplets)的趨勢越來(lái)越強，并有強大的標準化努力來(lái)實(shí)現一個(gè)開(kāi)放的芯片生態(tài)系統。這是一個(gè)重要的發(fā)展，與我們以芯片粒形式提供光學(xué)I/O解決方案的愿景是一致的。

  Ayar Labs的TeraPHY?光學(xué)I/O芯片具有4 Tbps的雙向帶寬，低于5pJ/b，每個(gè)芯片粒+TOF的延遲為5ns，覆蓋范圍從毫米到公里。由Ayar Labs提供，2023年。

  Martin Vallo：我們觀(guān)察到人們對CPO的興趣減少了，特別是對交換機的應用。然而，高性能計算對光I/O的需求仍在繼續。這其中的根本原因是什么?

  Terry Thorn：光I/O更適合于高性能計算(HPC)和人工智能(AI)/機器學(xué)習(ML)應用，在這些應用中，你需要分布式計算和共享內存容量，以滿(mǎn)足對性能、功率和帶寬的要求，同時(shí)不增加延遲。采用波分復用(WDM)和簡(jiǎn)單調制的光I/O所需的功率要小得多，并允許更大的密度：低至幾pJ/bit，帶寬密度高達1 Tbps/mm，導致僅有幾納秒的延遲，而CPO往往使用復雜的調制方案，則需要數百納秒。

  此外，作為一個(gè)電光收發(fā)器，光I/O使用一個(gè)微鏡調制器結構，需要更小的芯片面積，從而降低了成本。例如，我們的微鏡調制器的尺寸大約是Mach-Zehnder調制器的百分之一。最后，光輸入/輸出采用波分復用技術(shù)，允許將多個(gè)數據流裝入一根光纖，以實(shí)現非常高的吞吐量。

  Martin Vallo：光學(xué)I/O的第一個(gè)實(shí)際應用將是什么，我們什么時(shí)候可以期待一個(gè)公告?在我們看到AI/ML系統中的第一個(gè)光I/O之前，有哪些挑戰需要克服?

  Terry Thorn：我們看到許多不同的應用都遇到了同樣的功率、性能和延遲挑戰，而每一種應用都對光I/O有強烈的需求：

  人工智能和HPC：AI/ML和HPC應用需要一個(gè)分布式的加速器網(wǎng)絡(luò )來(lái)分散計算和共享內存容量。在內存容量方面，一個(gè)擁有數千億個(gè)參數的AI/ML模型可能需要高達2TB的內存容量來(lái)存儲中間計算結果。當你在一個(gè)集群中連接數百個(gè)GPU，使每個(gè)GPU都能與其他GPU對話(huà)時(shí)，每個(gè)GPU所需的數據吞吐量會(huì )迅速增加。這給帶寬密度帶來(lái)了巨大的壓力，這是衡量每個(gè)封裝邊緣或區域所能實(shí)現的數據吞吐量。光學(xué)I/O對于實(shí)現所需的帶寬密度、功率和延遲性能指標以實(shí)現更大的集群是至關(guān)重要的。

  高帶寬內存(HBM)擴展器：一個(gè)GPU通常被兩到四個(gè)本地內存HBM堆棧所包圍，每個(gè)都有大約64GBytes的內存容量。對于HPC和AI/ML應用，這個(gè)容量是不夠的。HBM內存擴展器可用于增加內存容量至數百GB字節或更多。由于內存應用對延遲非常敏感，使用光學(xué)I/O鏈路來(lái)連接GPU和擴展器內存模塊是必要的。僅僅由于延遲問(wèn)題，可插拔光學(xué)器件或CPO光學(xué)器件是不適合的。

  內存池和可組合的基礎設施：隨著(zhù)云計算基礎設施處理動(dòng)態(tài)變化的工作負載，靈活的匯集和共享內存的功能正變得至關(guān)重要。愿景是將基于工作負載的集群與所需的CPU、GPU、內存和存儲資源組合在一起，實(shí)現高性能和低延遲。隨著(zhù)CXL?標準的采用，光學(xué)I/O互連正在成為關(guān)注點(diǎn)。

  用于航空航天和國防的傳感系統：在這個(gè)方面，反映了我們最近宣布與洛克希德-馬丁公司的戰略合作，光學(xué)I/O被用來(lái)捕獲、數字化、傳輸和處理光譜信息。將高密度、高效率的光學(xué)I/O芯片粒，與射頻處理設備置于同一封裝中的多芯片封裝解決方案將被用于相控陣孔徑，以連接系統，做出更智能、更快速的決策。

  目前，光學(xué)I/O的主要挑戰是生態(tài)系統的發(fā)展，這需要許多公司的協(xié)調。我們正在與廣泛的合作伙伴合作，促進(jìn)該生態(tài)系統的發(fā)展。至于這些應用的首次公布，考慮到現有的市場(chǎng)需求，我們預計這些應用會(huì )來(lái)得更早而不是更晚，也許在未來(lái)一年左右。

Ayar Labs的TeraPHY?光學(xué)I/O晶圓來(lái)自Global Foundries Fotonix?單片RF-CMOS平臺。由Ayar實(shí)驗室提供，2023年。

  Martin Vallo：光學(xué)I/O性能使xPU能夠在從毫米到兩公里的廣泛距離內相互通信。因此，預計AOC(以太網(wǎng))和光學(xué)I/O(CXL、UCIe)之間會(huì )有激烈的競爭。這兩種技術(shù)之間的斗爭將如何進(jìn)行?

  Terry Thorn：以太網(wǎng)應用和以計算或內存為中心的應用之間有明顯的區別，所以我們不認為AOC是一個(gè)直接的競爭對手。在以計算或內存為中心的互連協(xié)議中，Compute Express Link?(CXL)和Universal Chiplet Interconnect Express?(UCle?)是互補的。CXL是一個(gè)較高層次的協(xié)議，傳統上在PCIe物理層上運行。最近，CXL已被擴展到也可與UCIe物理層一起工作。對于機架內或跨機架的片外連接，使用光I/O技術(shù)構建的UCIe光復接器可以提供AOC無(wú)法滿(mǎn)足的低功耗、低延遲和高帶寬密度指標。

  通過(guò)光互連，我們可以用更低的功耗和延遲實(shí)現更大的范圍。仍然會(huì )有一些對延遲不敏感的應用可以滿(mǎn)足更高的功率要求，而以太網(wǎng)將是首選，包括系統與系統之間的通信。在這些情況下，可以使用AOC。但是一旦你開(kāi)始考慮深度學(xué)習和HPC應用, 同樣，你要把許多計算節點(diǎn)連接在一起的話(huà)，AOC可能無(wú)法滿(mǎn)足所有的性能指標。

  Martin Vallo：你如何看待光學(xué)I/O在技術(shù)方面的發(fā)展?

  Terry Thorn：首先，光學(xué)I/O具有高度的可擴展性，該技術(shù)將有幾種發(fā)展方式。一個(gè)是每根光纖的lambdas數量。我們目前使用的是每根光纖8個(gè)lambdas，但CW-WDM MSA(連續波分復用多源協(xié)議)路線(xiàn)圖已經(jīng)有每根光纖16和32個(gè)lambdas的規范。每當你把每根光纖的lambdas數量增加一倍(保持其他方面不變)就會(huì )自動(dòng)把帶寬增加一倍。我們還可以擴大光端口的數量(我們目前使用的是8個(gè))并提高調制率(我們目前使用的是32Gbps的調制率)。

  在光I/O內部，我們預計將看到在使用內部或外部激光器方面的不同意見(jiàn)?？紤]到緊湊的外形尺寸、靈活性和現場(chǎng)可更換性，我們仍然傾向于外部激光器的方法。我們還認為UCIe是最適合于芯片到芯片連接的標準，它促進(jìn)了實(shí)施光學(xué)I/O的芯片方法。

一個(gè)包含四個(gè)Ayar Labs TeraPHY?光學(xué)I/O芯片和一個(gè)客戶(hù)ASIC的多芯片封裝。由Ayar實(shí)驗室提供，2023年。

  Martin Vallo：圍繞激光源的關(guān)鍵規格是什么?我們是否會(huì )在未來(lái)看到光學(xué)芯片中廣泛集成激光器?

  Terry Thorn：目前業(yè)界的趨勢是使用外部激光源，我們相信這種趨勢會(huì )持續下去。在光學(xué)I/O中，激光器是最敏感的部件，需要在較低的溫度環(huán)境下工作。把它放在外部，與計算硅分離，可以更好更有效地控制溫度。如果你把激光器模塊放在計算硅旁邊，來(lái)自計算節點(diǎn)內的GPU和CPU的熱量會(huì )影響激光器的性能。

  我們確實(shí)希望看到梳狀激光器的使用，但它們仍處于早期研究發(fā)展階段。當該技術(shù)成為商業(yè)化的時(shí)候，我們可以看看這個(gè)東西。但是，最終，我們相信保持 "外部激光不可控 "在制造和部署方面是最合理的。

  Martin Vallo：有很多關(guān)于分布式機架架構的討論，目前是光學(xué)I/O技術(shù)的主要驅動(dòng)力。你能分享一下這會(huì )如何發(fā)展嗎?

  Terry Thorn: 分散的基礎設施需要光I/O來(lái)擴展到機架級別甚至更高的級別。將內存與處理器和加速器解耦的分布式機架可以實(shí)現更靈活、更經(jīng)濟的節點(diǎn)設計，滿(mǎn)足下一代HPC和AI工作負載的需求。為了使分布式機架成為可能，一個(gè)能夠在幾米到幾百米的距離內以低功率和低延遲提供高吞吐量的互連是至關(guān)重要的。CXL是一種新興的用于分布式機架的統一協(xié)議，使用PCIe電信號進(jìn)行I/O互連，其覆蓋范圍有限。為了擴大覆蓋范圍和扇形范圍，人們對 "CXL over optical "I/O互連有強烈的興趣。

  例如，很容易設想一種可組合性方案，其中幾個(gè)CPU包含在一個(gè)機箱中，而GPU在一個(gè)單獨的機箱中，而內存則占據另一個(gè)機箱。隨著(zhù)工作負載的擴大，你可以將兩個(gè)CPU、一個(gè)GPU、幾個(gè)SSD和匯集一定量的內存組成一個(gè)節點(diǎn)。CXL為內存分解帶來(lái)了緩存一致性互連，這就是為什么這么多公司正在努力實(shí)現利用CXL的解決方案，我們相信光I/O是實(shí)現這一愿景的關(guān)鍵成分。

  這里的另一個(gè)重要角度是分布式計算，這又回到了一個(gè)事實(shí)，即人工智能/ML和深度學(xué)習都需要大量的訓練參數，現在是以萬(wàn)億計。在各種計算節點(diǎn)之間共享計算和內存將越來(lái)越有必要。連接這些節點(diǎn)并有效擴展的唯一可靠方式是通過(guò)光學(xué)I/O。

四個(gè)Ayar Labs TeraPHY?光學(xué)I/O芯片和一個(gè)客戶(hù)的ASIC在一個(gè)多芯片封裝中。由Ayar實(shí)驗室提供，2023年。

  Martin Vallo：把電/光接口帶到芯片旁邊，將大大影響這個(gè)行業(yè)。您能否解釋一下供應鏈將受到怎樣的影響?

  Terry Thorn：該行業(yè)目前正面臨著(zhù)顯著(zhù)的連接瓶頸，這迫使各參與者探索新的方法。我們看到的一個(gè)趨勢是將SoC的單芯片分解成芯片粒。將電光芯片納入封裝內，緊挨著(zhù)SoC核心芯片是這種趨勢的延續。這種共封裝的方法將會(huì )改變供應鏈的復雜性。

  除了用芯片粒封裝外，光纖連接和測試方法也需要發(fā)展。我們還看到代工廠(chǎng)(即Global Foundries、英特爾和最近的臺積電)，在支持集成電子/光學(xué)元件方面取得的巨大進(jìn)展和承諾。最后，選擇將激光器放在外部是我們能夠減輕這些供應鏈復雜性的一種方式。

  標準化也將在解決供應鏈挑戰和擴大這項技術(shù)的規模方面發(fā)揮關(guān)鍵作用。UCIe和CXL都在尋求解決光纖互連的問(wèn)題，并正在探索制定光學(xué)I/O規范。此外，CW-WDM MSA是一個(gè)重要的行業(yè)倡議，它正在定義和促進(jìn)光學(xué)激光源的新標準和規范。由于光I/O是一項革命性的技術(shù)，對行業(yè)的許多領(lǐng)域都有影響，因此發(fā)展和培育這個(gè)完整的生態(tài)系統有巨大的需求。

  Martin Vallo：光學(xué)I/O技術(shù)將如何影響其他應用?

  Terry Thorn：這是個(gè)好問(wèn)題。我們已經(jīng)談了很多關(guān)于HPC和AI/ML的問(wèn)題，但我們也希望看到它在其他需要快速傳輸數據的領(lǐng)域的應用增長(cháng)，例如在云和數據中心、電信、航空航天和國防、自動(dòng)駕駛、AR/VR等。隨著(zhù)光學(xué)I/O的成熟和變得更具成本效益，我們看到它有可能滿(mǎn)足廣泛的應用中不斷增長(cháng)的帶寬、功率和延遲要求。