英偉達芯片，最新路線(xiàn)圖

  ICC訊  眾所周知，隨著(zhù)生成式AI的大熱，英偉達正在數據中心領(lǐng)域大殺四方，這也幫助他們實(shí)現了更好的業(yè)績(jì)。根據公司公布的數據，截至 2023 年 7 月 30 日的第二季度，英偉達收入為 135.1 億美元，較上一季度增長(cháng) 88%，較去年同期增長(cháng) 101%。

  不過(guò)，英偉達目前的業(yè)績(jì)預期很多都是基于當前的芯片和硬件所做的。但有分析人士預計，如果包含企業(yè) AI 及其 DGX 云產(chǎn)品，該數據中心的市場(chǎng)規模將至少是游戲市場(chǎng)的 3 倍，甚至是 4.5 倍。

  瑞銀分析師Timothy Arcuri也表示，英偉達目前在DGX云計算方面的收入約為10億美元。但在與客戶(hù)交談后，他認為，該公司每年可能從該部門(mén)獲得高達100億美元的收入。他給出的理由是Nvidia仍然可以在DGX云上添加額外的產(chǎn)品，包括預先訓練的模型，訪(fǎng)問(wèn)H100 GPU等等。他說(shuō)，現在這些*GPU仍然“非常難”獲得訪(fǎng)問(wèn)，能夠根據需要擴大和縮小規模，并與現有的云或內部部署基礎設施“基本上無(wú)縫集成”。

  因此，英偉達在最近公布了一個(gè)包括H200、B100、X100、B40、X40、GB200、GX200、GB200NVL、GX200NVL 等新部件在內的產(chǎn)品路線(xiàn)圖，這對英偉達未來(lái)的發(fā)展非常重要。

  數據中心路線(xiàn)圖

  根據servethehome披露的路線(xiàn)圖，英偉達的一項重大變化是他們現在將其基于 Arm 的產(chǎn)品和基于 x86 的產(chǎn)品分開(kāi)，其中 Arm 處于*地位。作為參考，普通客戶(hù)現在甚至無(wú)法購買(mǎi) NVIDIA Grace 或 Grace Hopper，因此在 2023-2025 年路線(xiàn)圖的堆棧中顯示它是一個(gè)重要的細節。以下是 NVIDIA 提出的路線(xiàn)圖：

  在A(yíng)rm方面，英偉達計劃將在2024年推出GH200NVL，在2024年推出GB200NVL，然后在2025年推出GX200NVL。我們已經(jīng)看到 x86 NVL 系列與NVIDIA H100 NVL一起推出，但這些都是基于 Arm 的解決方案。然后是 2024 年推出的 GH200NVL。還有快速跟隨的 GB200NVL，然后是 GX200NVL。還有非 NVL 版本。

  在NVIDIA 宣布推出雙配置的新型 NVIDIA Hopper 144GB HBM3e 型號(可能最終成為 GH200NVL)的時(shí)候，我們介紹了具有 142GB/144GB 內存的 GH200 (非 NVL)。據介紹，與當前一代產(chǎn)品相比，雙配置的內存容量增加了 3.5 倍，帶寬增加了 3 倍，包括一臺具有 144 個(gè) ArmNeoverse 核心、8 petaflops 的 AI 性能和 282GB 最新 HBM3e內存技術(shù)的產(chǎn)品。

  GB200 將成為 2024 年的下一代加速器，GX200 將成為 2025 年的下一代加速器。

  面向 x86 市場(chǎng)，英偉達預計 2024 年將推出 H200，它會(huì )在 Hopper 架構上進(jìn)行更新，并具有更多內存。B100和B40是下一代架構部件，隨后是2025年的X100和X40?？紤]到B40和X40位于“企業(yè)”賽道上，而當前的L40S是PCIe卡，因此這些可能是PCIe卡。

  在網(wǎng)絡(luò )方面，Infiniband 和以太網(wǎng)都將于 2024 年從 400Gbps 發(fā)展到 800Gbps，然后在 2025 年達到 1.6Tbps。鑒于我們已經(jīng)在 2023 年初研究了 Broadcom Tomahawk 4 和交換機，并看到了合作伙伴今年的800G Broadcom Tomahawk 5 交換機，感覺(jué)有點(diǎn)像 NVIDIA 以太網(wǎng)產(chǎn)品組合在以太網(wǎng)方面明顯落后。Broadcom 的 2022-2023 年 800G 系列似乎與 NVIDIA 的 2024 年升級保持一致，NVIDIA 在 2023 年中期宣布了 Spectrum 4，而Tomahawk 5 則在大約 21-22 個(gè)月前宣布。在業(yè)界，芯片發(fā)布與投入生產(chǎn)之間通常存在很大的差距。

  由此可見(jiàn)，在 Infiniband 方面，NVIDIA 是孤軍奮戰。從該路線(xiàn)圖中，我們沒(méi)有看到 NVSwitch/NVLink 路線(xiàn)圖。

  其他人工智能硬件公司應該會(huì )被 NVIDIA 的企業(yè)人工智能路線(xiàn)圖嚇到。在人工智能訓練和推理領(lǐng)域，這意味著(zhù) 2024 年將更新當前的 Hopper，然后在 2024 年晚些時(shí)候過(guò)渡到 Blackwell 一代，并在 2025 年采用另一種架構。

  在 CPU 方面，我們最近已經(jīng)看到了令人激動(dòng)的更新節奏，x86 方面的核心數量之戰出現了大幅增長(cháng)。例如，英特爾的* Xeon 核心數量預計從 2021 年第二季度初到2024 年第二季度將增加 10 倍以上。NVIDIA 在數據中心領(lǐng)域似乎也在緊跟這一步伐。對于構建芯片的人工智能初創(chuàng )公司來(lái)說(shuō)，考慮到 NVIDIA 的新路線(xiàn)圖步伐，這現在是一場(chǎng)競賽。

  對于英特爾、AMD，或許還有 Cerebras 來(lái)說(shuō)，隨著(zhù) NVIDIA 銷(xiāo)售大型高利潤芯片，他們的目標將會(huì )發(fā)生變化。它還將基于 Arm 的解決方案置于*賽道中，這樣它不僅可以在 GPU/加速器方面獲得高利潤，而且可以在 CPU 方面獲得高利潤。

  一個(gè)值得注意的落后者似乎是以太網(wǎng)方面，這感覺(jué)很奇怪。

  精準的供應鏈控制

  據semianalysis說(shuō)法，英偉達之所以能夠在群雄畢至的AI芯片市場(chǎng)一枝獨秀，除了他們在硬件和軟件上的布局外，對供應鏈的控制，也是英偉達能坐穩今天位置的一個(gè)重要原因。

  英偉達過(guò)去多次表明，他們可以在短缺期間創(chuàng )造性地增加供應。英偉達愿意承諾不可取消的訂單，甚至預付款，從而獲得了巨大的供應。目前，Nvidia 有111.5 億美元的采購承諾、產(chǎn)能義務(wù)和庫存義務(wù)。Nvidia 還額外簽訂了價(jià)值 38.1 億美元的預付費供應協(xié)議。單從這方面看，沒(méi)有其他供應商可以與之相媲美，因此他們也將無(wú)法參與正在發(fā)生的狂熱AI浪潮。

  自 Nvidia 成立之初起，黃仁勛就一直積極布局其供應鏈，以推動(dòng) Nvidia 的巨大增長(cháng)雄心。黃仁勛曾在重述了他與臺積電創(chuàng )始人張忠謀的早期會(huì )面中表示：

  “1997 年，當張忠謀和我相遇時(shí)，Nvidia 那一年的營(yíng)收為 2700 萬(wàn)美元。我們有 100 個(gè)人，然后我們見(jiàn)面了。你們可能不相信這一點(diǎn)，但張忠謀曾經(jīng)打銷(xiāo)售電話(huà)。你以前經(jīng)常上門(mén)拜訪(fǎng)，對嗎?你會(huì )進(jìn)來(lái)拜訪(fǎng)客戶(hù)，我會(huì )向張忠謀解釋英偉達做了什么，你知道，我會(huì )解釋我們的芯片尺寸需要有多大，而且每年都會(huì )變得越來(lái)越大而且更大。你會(huì )定期回到英偉達，讓我再講一遍這個(gè)故事，以確保我需要那么多晶圓，明年，我們開(kāi)始與臺積電合作。Nvidia 做到了，我認為是 1.27 億，然后，從那時(shí)起，我們每年增長(cháng)近 100%，直到現在?！?

  張忠謀一開(kāi)始不太相信英偉達需要這么多晶圓，但黃仁勛堅持了下來(lái)，并利用了當時(shí)游戲行業(yè)的巨大增長(cháng)。英偉達通過(guò)大膽供應而取得了巨大成功，而且通常情況下他們都是成功的。當然，他們必須時(shí)不時(shí)地減記價(jià)值數十億美元的庫存，但他們仍然從超額訂購中獲得了積極的收益。

  如果某件事有效，為什么要改變它?

  最近這一次，英偉達又搶走了SK海力士、三星、美光HBM的大部分供應，這是GPU和AI芯片正在追逐的又一個(gè)核心。英偉達向所有 3 個(gè) HBM 供應商下了非常大的訂單，并且正在擠出除Broadcom/Google之外的其他所有人的供應。

  此外，Nvidia 還已經(jīng)買(mǎi)下了臺積電 CoWoS 的大部分供應。但他們并沒(méi)有就此止步，他們還出去考察并買(mǎi)下了Amkor的產(chǎn)能。

  Nvidia 還利用了 HGX 板或服務(wù)器所需的許多下游組件，例如重定時(shí)器、DSP、光學(xué)器件等。拒絕英偉達要求的供應商通常會(huì )受到“胡蘿卜加大棒”的對待。一方面，他們可以從英偉達那里獲得看似難以想象的訂單，另一方面，他們也面臨著(zhù)被英偉達現有供應鏈所設計的問(wèn)題。他們僅在供應商至關(guān)重要并且無(wú)法設計出來(lái)或多源時(shí)才使用提交和不可取消。

  每個(gè)供應商似乎都認為自己是人工智能贏(yíng)家，部分原因是英偉達從他們那里訂購了大量訂單，而且他們都認為自己贏(yíng)得了大部分業(yè)務(wù)，但實(shí)際上，英偉達的發(fā)展速度是如此之快，甚至已經(jīng)超出了他們的想想。

  回到上面的市場(chǎng)動(dòng)態(tài)，雖然 Nvidia 的目標是明年數據中心銷(xiāo)售額超過(guò) 700 億美元，但只有 Google 擁有足夠的上游產(chǎn)能，能夠擁有超過(guò) 100 萬(wàn)個(gè)規模的有意義的單元。即使AMD最新調整了產(chǎn)能，他們在A(yíng)I方面的總產(chǎn)能仍然非常溫和，最高只有幾十萬(wàn)臺。

  精明的商業(yè)計劃

  眾所周知，Nvidia 正在利用 GPU 的巨大需求，利用 GPU 向客戶(hù)進(jìn)行追加銷(xiāo)售和交叉銷(xiāo)售。供應鏈上的多位消息人士告訴semianalysis，英偉達正在基于多種因素對企業(yè)進(jìn)行優(yōu)先分配，這些因素包括但不限于：多方采購計劃、計劃生產(chǎn)自己的人工智能芯片、購買(mǎi)英偉達的 DGX、網(wǎng)卡、交換機和光學(xué)器件等。

  Semianalysis指出，CoreWeave、Equinix、Oracle、AppliedDigital、Lambda Labs、Omniva、Foundry、Crusoe Cloud 和 Cirrascale 等基礎設施提供商所面臨的分配的產(chǎn)品數量遠比亞馬遜等大型科技公司更接近其潛在需求。

  據semianalysis所說(shuō)，事實(shí)上，Nvidia 的捆綁銷(xiāo)售非常成功，盡管之前是一家規模很小的光收發(fā)器供應商，但他們的業(yè)務(wù)在 1 季度內增長(cháng)了兩倍，并有望在明年實(shí)現價(jià)值超過(guò) 10 億美元的出貨量。這遠遠超過(guò)了 GPU 或網(wǎng)絡(luò )芯片業(yè)務(wù)的增長(cháng)率。

  而且，這些策略是經(jīng)過(guò)深思熟慮的，例如目前，在 Nvidia 系統上通過(guò)可靠的 RDMA/RoCE 實(shí)現 3.2T 網(wǎng)絡(luò )的*方法是使用 Nvidia 的 NIC。這主要是因為Intel、AMD、Broadcom缺乏競爭力，仍然停留在200G。

  在Semianalysis開(kāi)來(lái)，Nvidia正在趁機管理其供應鏈，使其 400G InfiniBand NIC 的交貨時(shí)間明顯低于 400G 以太網(wǎng) NIC。請記住，兩個(gè) NIC (ConnectX-7) 的芯片和電路板設計是相同的。這主要取決于 Nvidia 的 SKU 配置，而不是實(shí)際的供應鏈瓶頸。這迫使公司購買(mǎi) Nvidia 更昂貴的 InfiniBand 交換機，而不是使用標準以太網(wǎng)交換機。當您購買(mǎi)具有 NIC 模式 Bluefield-3 DPU 的 Spectrum-X 以太網(wǎng)網(wǎng)絡(luò )時(shí)，Nvidia 會(huì )破例。

  事情還不止于此，看看供應鏈對 L40 和 L40S GPU 的瘋狂程度就知道了。

  Semianalysis透露，為了讓那些原始設備制造商贏(yíng)得更多的 H100 分配，Nvidia 正在推動(dòng) L40S的銷(xiāo)售，這些 OEM 也面臨著(zhù)購買(mǎi)更多 L40S 的壓力，進(jìn)而獲得更好的 H100 分配。這與 Nvidia 在 PC 領(lǐng)域玩的游戲相同，筆記本電腦制造商和 AIB 合作伙伴必須購買(mǎi)大量的 G106/G107(中端和低端 GPU)，才能為更稀缺、利潤率更高的 G102/G104 獲得良好的分配(高端和旗艦 GPU)。

  臺灣供應鏈中的許多人都被認為 L40S 比 A100 更好，因為它的 FLOPS 更高。需要明確的是，這些 GPU 不適合 LLM 推理，因為它們的內存帶寬不到 A100 的一半，而且沒(méi)有 NVLink。這意味著(zhù)除了非常小的模型之外，以良好的總體擁有成本在它們上運行LLM幾乎是不可能的。高批量大小(High batch sizes)具有不可接受的令牌/秒/用戶(hù)(tokens/second/user)，使得理論上的 FLOPS 在實(shí)踐中對于 LLM 毫無(wú)用處。

  Semianalysis說(shuō)，OEM 廠(chǎng)商也面臨著(zhù)支持 Nvidia 的 MGX 模塊化服務(wù)器設計平臺的壓力。這有效地消除了設計服務(wù)器的所有艱苦工作，但同時(shí)也使其商品化，創(chuàng )造了更多競爭并壓低了 OEM 的利潤。戴爾、HPE 和聯(lián)想等公司顯然對 MGX 持抵制態(tài)度，但臺灣的低成本公司，如超微、廣達、華碩、技嘉、和碩和華擎，正在急于填補這一空白，并將低成本“企業(yè)人工智能”商品化。

  當然，這些參與 L40S 和 MGX 游戲的 OEM/ODM 也獲得了 Nvidia 主線(xiàn) GPU 產(chǎn)品更好的分配。

  雖然英偉達正在面臨著(zhù)芯片廠(chǎng)商和系統廠(chǎng)商自研芯片的夾擊。但這些布局，似乎短期內都能讓英偉達高枕無(wú)憂(yōu)。他們依然會(huì )是AI時(shí)代最成功的“賣(mài)鏟人”。

  參考鏈接

  https://www.servethehome.com/nvidia-data-center-roadmap-with-gx200nvl-gx200-x100-and-x40-ai-chips-in-2025/

  https://www.semianalysis.com/p/nvidias-plans-to-crush-competition