超大規模數據中心要回到ASIC歲月么？

  ICC訊 數據中心處理器正在重新架構、定制化和多樣化。當超大規模數據中心開(kāi)發(fā)他們自己的芯片時(shí)，以前為他們服務(wù)的芯片公司應如何應對?定制化是正確的方向嗎?

  由于A(yíng)mazon、Google和Meta等超大規模數據中心的推動(dòng)，數據中心芯片的多樣化和定制化趨勢日益加劇。

  他們試圖繞過(guò)傳統芯片設計師的做法為芯片行業(yè)帶來(lái)了擔憂(yōu)。

  這些擔憂(yōu)是有道理的。

  打入超大規模數據中心處理器市場(chǎng)對傳統芯片公司和初創(chuàng )公司提出了挑戰。這部分是因為超大規模數據中心要求專(zhuān)為其算法和工作負載而定制的特定硬件解決方案。擁有專(zhuān)有軟件的超大規模數據中心也具有不公平的競爭優(yōu)勢。

  重新架構數據中心

  首先，讓我們分析一下當前數據中心處理器市場(chǎng)的現狀。

  根據Yole Intelligence科技與市場(chǎng)分析師Adrien Sanchez的說(shuō)法，如今有兩種主要類(lèi)型的處理器進(jìn)入數據中心?！耙环N是CPU，另一種是加速器?！?

  在CPU類(lèi)別中，主要競爭對手是Intel和AMD。新玩家如Ampere和Nvidia也開(kāi)始出現，一些中國玩家也加入了該行列。但關(guān)鍵是，一些超大規模數據中心如AWS和阿里巴巴已經(jīng)開(kāi)發(fā)了自己的定制CPU。

  另一方面，加速器有幾個(gè)子類(lèi)別。它們包括：

  由Nvidia和AMD主導的GPU/圖形加速器。

  通用圖形處理單元(GPGPU)和AI加速器，同樣由Nvidia和AMD主導。Yole的Sanchez表示，Intel目前也在為這個(gè)子類(lèi)別開(kāi)發(fā)新產(chǎn)品。這也是許多AI硬件初創(chuàng )公司爭相推出產(chǎn)品的領(lǐng)域。幾乎所有的超大規模數據中心也都有自己的定制處理器，專(zhuān)門(mén)用于加速AI訓練與推理。

  數據處理單元(DPU)/智能網(wǎng)絡(luò )接口卡(NIC)開(kāi)始用于加速數據和網(wǎng)絡(luò )工作負載。Sanchez表示，這個(gè)子類(lèi)別的主要競爭對手包括Broadcom、Marvell、Nvidia(Mellanox產(chǎn)品線(xiàn))、AMD(既有Xilinx，又有Pesando處理器)和Intel。一些超大規模數據中心如AWS和阿里巴巴也有自己的產(chǎn)品。

  Tirias Research的首席分析師Steve Leibson解釋說(shuō)：“數據中心架構已經(jīng)在發(fā)生變化，特別是在加速器的應用上?！?

  例如，根據Lebson的說(shuō)法，Microsoft Azure一直將FPGA置于其基礎架構的核心，尋求利用其增加的靈活性。他補充說(shuō)：“AWS多年來(lái)一直將FPGA加速作為實(shí)驗提供給客戶(hù)?！彼€說(shuō)：“最近，隨著(zhù)AI特別是ChatGPT的出現，Nvidia的GPU已經(jīng)在加速器競賽中處于核心地位，Nvidia正投入大量資源進(jìn)行數據中心架構的開(kāi)發(fā)?！?

  Leibson認為“安全性”是推動(dòng)數據中心重新架構的另一個(gè)因素。Leibson解釋說(shuō)，Intel和AMD正在推動(dòng)DPU，Intel稱(chēng)之為基礎設施處理單元(IPU)，因為它們可以將基礎設施任務(wù)從服務(wù)器CPU中移除。目標是阻止惡意行為者試圖訪(fǎng)問(wèn)關(guān)鍵數據。DPU/IPU和智能NIC位于服務(wù)器領(lǐng)域之外。

  定制化趨勢正在發(fā)生嗎?

  在這種背景下，數據中心處理器的多樣化正在迅速展開(kāi)。像Marvell和Broadcom這樣的公司認為，這種變化讓芯片行業(yè)的老業(yè)務(wù)模式定制ASIC重新煥發(fā)生機。

  他們計劃推動(dòng)定制化來(lái)幫助超大規模數據中心。他們的戰略首先從超大規模數據中心處理器的邊緣開(kāi)始，試圖用自己的IP進(jìn)行滲透。

  Marvell最近推出的高速、超高帶寬SerDes采用了TSMC的3nm工藝生產(chǎn)，就是一個(gè)例子。

  像I/O模塊、存儲器、SerDes和互連這樣的IP并不是定制化超大規模數據中心芯片中最引人注目的元素。但是，利用像Marvell這樣的公司已經(jīng)可以獲得的IP，使得超大規模數據中心更容易加速其數據中心芯片的定制化。

  然而，與Nvidia、AMD和Intel在數據中心更廣泛產(chǎn)品組合中取得的更深入進(jìn)展相比，Marvell在數據中心的進(jìn)展規模相形見(jiàn)絀。

  瓶頸點(diǎn)

  Marvell認為“定制化正成為客戶(hù)業(yè)務(wù)的核心”。

  Marvell的計算與定制集團技術(shù)副總裁Mark Kuemerle觀(guān)察到：“關(guān)于這些數據中心客戶(hù)的有趣事實(shí)是，如果他們的系統中出現輕微的瓶頸點(diǎn)，問(wèn)題會(huì )被放大1000倍甚至更多(因為它們部署在超大規模中)?！边@樣的瓶頸點(diǎn)可能導致NIC卡住?，F成的機器學(xué)習設備可能無(wú)法匹配工作負載或滿(mǎn)足靈活性或可編程性的需求。

  Kuemerle說(shuō)：“這些超大規模數據中心真的必須將一切精確調整到他們的工作負載。那么，他們投資建設定制芯片絕對是值得的?！?

  Kuemerle表示，這些客戶(hù)還需要解決方案來(lái)覆蓋他們構建的所有內容，“從基礎NIC到視頻加速，再到大規模機器學(xué)習”。

  回到ASIC了嗎?

  等一下。Marvell的這種方法不是讓芯片行業(yè)回到了ASIC的黑暗時(shí)代嗎?

  在20世紀90年代，領(lǐng)先的芯片公司渴望設計和提供針對特定應用的定制ASIC設備，同時(shí)提供更好的性能。Sony、Toshiba和IBM最初設計的用于Sony Playstation 3的Cell Processor就是一個(gè)例子。

  但那些ASIC的歲月已經(jīng)過(guò)去了。為特定產(chǎn)品設計ASIC變得越來(lái)越難以合理規模。坦率地說(shuō)，人們開(kāi)始討厭ASIC。那么，情況發(fā)生了什么變化，數據中心公司真的需要定制芯片嗎?

  Marvell新成立的計算與定制集團高級副總裁Kevin O'Buckley承認，對ASIC的反感確實(shí)出現了。但他堅稱(chēng)，只有當系統公司試圖將真正先進(jìn)的工藝節點(diǎn)應用到他們自己的ASIC時(shí)，才產(chǎn)生了這種看法。那對任何人來(lái)說(shuō)都變得過(guò)于昂貴。

  但如今，當摩爾定律放緩時(shí)，尋求更先進(jìn)的工藝節點(diǎn)不再是潛在ASIC客戶(hù)的唯一選擇?？蛻?hù)可以選擇2.5D、3D芯片或芯片組，混合匹配不同的IP、硬件和封裝技術(shù)。

  有鑒于此，O'Buckley認為，“從收入、SAM(serviceable available market)和TAM(total available market)來(lái)看，ASIC市場(chǎng)實(shí)際上從未如此龐大?！?

  當然，O'Buckley承認，從投資回報來(lái)看，可以承受投資的客戶(hù)和應用的整合實(shí)際上正在縮小。盡管芯片制造商競標的領(lǐng)域數量減少，項目數量減少，但他強調，“這些單個(gè)領(lǐng)域的價(jià)值和影響正在爆炸式增長(cháng)?！?

  對定制芯片的懷疑仍然存在

  Tirias Research的Leibson對主要芯片公司正在忙于定制他們的GPU和CPU以適應特定超大規模數據中心客戶(hù)的需求持懷疑態(tài)度。

  Leibson表示：“他們可能會(huì )這樣做，但我認為這些公司更有可能與超大規模數據中心討論需求，并嘗試提供滿(mǎn)足聚合需求的標準設備?！痹谒磥?lái)，定制芯片是為客戶(hù)量身定制的芯片，正如Intel與Google合作開(kāi)發(fā)Mt. Evans ASIC IPU那樣。

  對于芯片公司來(lái)說(shuō)，這是否具有商業(yè)意義又是另一個(gè)問(wèn)題。畢竟，芯片供應商必須尋找規模大的機會(huì )。

  Yole Intelligence的技術(shù)與市場(chǎng)分析師John Lorenz表示贊同：“在某種程度上，AMD和Intel正在提議更多的硬件定制，例如AMD的MI300系列和Intel的Rialto Bridge系列，客戶(hù)可能會(huì )尋找不同的CPU、GPU和XPU組合，以根據他們的需求定制計算解決方案?！彼a充說(shuō)，“相比之下，Nvidia解決方案的更多靈活性來(lái)自CUDA軟件，硬件方面較少。盡管如此，我們應該看到Grace和Hopper的一些組合作為某些硬件選項?！?

  Yole的Lorenz和Tirias Research的Leibson都不確定AMD是否計劃將其半定制芯片業(yè)務(wù)(目前專(zhuān)用于游戲機芯片)擴展到一些不同領(lǐng)域。

  然而，一年前，在A(yíng)MD的財務(wù)日上，Lisa Su闡述了她的雄心?！霸谶^(guò)去的10年里，我們一直從事定制芯片業(yè)務(wù)。如果你看看我們在游戲機市場(chǎng)所做的事情，那就是定制芯片，將我們的芯片帶給我們客戶(hù)對市場(chǎng)、系統和軟件應用的愿景。我認為，定制芯片的趨勢只會(huì )繼續增長(cháng)?！?

  Lisa Su表示，AMD的一些超大規模數據中心客戶(hù)正在尋求AMD的幫助 為自己的芯片進(jìn)行差異化。然而，AMD的定制芯片項目的細節尚未公開(kāi)。

  超大規模數據中心定制芯片的需求將繼續存在。對于超大規模數據中心來(lái)說(shuō)，定制ASIC是有意義的。然而，如果相關(guān)ASIC只成為一次性解決方案，那么像Marvell這樣嘗試定制策略的芯片公司能否在這樣的不確定性趨勢中尋找的規模機會(huì )就不得而知了。