英偉達Grace-Hopper提供一個(gè)緊密集成的CPU + GPU解決方案

  ICC訊 英偉達Grace-Hopper提供了一個(gè)緊密集成的CPU + GPU解決方案，針對生成式人工智能逐漸成為主導的市場(chǎng)環(huán)境。

  為了提高性能，這家GPU制造商將HBM3e內存放入了名為GH200的新型芯片封裝中，該封裝包括一個(gè)Grace CPU和一個(gè)Hopper GPU。Hopper以前在芯片封裝中使用HBM3存儲器。

  英偉達將把兩個(gè)GH200芯片(每個(gè)都有一個(gè)72核CPU和一個(gè)Hopper GPU)連接到一個(gè)更大的芯片集群中，用于擴展數據中心。

  HBM3e內存比HBM3快50%，總帶寬為每秒10TB;CPU基于Neoverse V2設計。英偉達CEO黃仁勛表示:“這些芯片正在生產(chǎn)中，我們將在2023年年底左右進(jìn)行樣品測試?！?

  一個(gè)封裝中的兩個(gè)GH200芯片將具有282GB的HBM3e內存，這相比于之前GH100芯片的192GB HBM內存是一大改進(jìn)。它還將擁有每秒8千萬(wàn)億次的人工智能計算能力，以及每秒10 TB的HBM3e性能。

  該芯片組可以接受任何大型語(yǔ)言模型，“可以瘋狂地進(jìn)行推理”。英偉達表示，這些芯片可以運行3.5倍大的模型，并通過(guò)更快的內存帶寬獲得性能提升。

  該公司打算將256個(gè)GH200 GPU配置到一個(gè)名為Grace Hopper的超級計算機系統中，該系統將提供1百億億次的人工智能性能。黃仁勛將該系統稱(chēng)為“世界上最大的單一GPU”，所有256個(gè)GH200協(xié)同工作。

  目前所有的大型學(xué)習模型都是在Grace Hopper超級計算機這樣的系統上訓練的。黃仁勛說(shuō)，未來(lái)隨著(zhù)人工智能在設備之間的分布越來(lái)越廣，每個(gè)應用程序都將使用一個(gè)大型語(yǔ)言模型。隨著(zhù)越來(lái)越多的公司探索人工智能來(lái)提高運營(yíng)效率，HopperGPU現在很受歡迎。該公司承認GPU供應短缺。

  黃仁勛還描繪了如何分解其GPU路線(xiàn)圖以滿(mǎn)足分布式模型。Grace Hopper超級計算機位于頂部，然后可以將其分配到具有不同要求的服務(wù)器和桌面GPU上的不同GPU上。