NVIDIA 為全球領(lǐng)先的 AI 計算平臺 Hopper 再添新動(dòng)力

  ICC訊 丹佛 - SC23 - 太平洋時(shí)間 2023 年 11 月 13 日 - NVIDIA 于今日宣布推出 NVIDIA HGX H200，為 Hopper 這一全球領(lǐng)先的 AI 計算平臺再添新動(dòng)力。NVIDIA HGX H200 平臺基于 NVIDIA Hopper 架構，搭載 NVIDIA H200 Tensor Core GPU 和領(lǐng)先的顯存配置，可處理生成式 AI 與高性能計算工作負載的海量數據。

  NVIDIA H200 是首款采用 HBM3e 的 GPU，其運行更快、更大的顯存容量將進(jìn)一步加速生成式 AI 與大語(yǔ)言模型，同時(shí)推進(jìn)用于 HPC 工作負載的科學(xué)計算。憑借 HBM3e，NVIDIA H200 能夠提供傳輸速度達 4.8 TB/秒的 141GB 顯存。與上一代架構的 NVIDIA A100 相比，其容量幾乎翻了一倍，帶寬也增加了 2.4 倍。

  全球領(lǐng)先的服務(wù)器制造商和云服務(wù)提供商預計于 2024 年第二季度開(kāi)始提供搭載 H200 的系統。

  NVIDIA 超大規模和高性能計算副總裁 Ian Buck 表示：“想要通過(guò)生成式 AI 和 HPC 應用創(chuàng )造智能，就必須使用大型、快速的 GPU 顯存來(lái)高速、高效地處理海量數據。借助 NVIDIA H200，業(yè)界領(lǐng)先的端到端 AI 超級計算平臺的速度將會(huì )變得更快，一些世界上最重要的挑戰，都可以被解決?！?

  持續的創(chuàng )新帶來(lái)持續的性能飛躍

  與前代架構相比，NVIDIA Hopper 架構實(shí)現了前所未有的性能躍升，而 H100 持續的軟件升級，包括最近發(fā)布的 NVIDIA TensorRT?-LLM 等強大的開(kāi)源庫，都在不斷提升其性能標準。

  H200 的推出將帶來(lái)進(jìn)一步的性能飛躍，比如在一個(gè) 700 億參數的 LLM —— Llama 2 上的推理速度比 H100 提高了近一倍。隨著(zhù)未來(lái)軟件的持續升級，H200 有望實(shí)現更大的性能優(yōu)勢與提升。

  NVIDIA H200 的規格

  NVIDIA H200 將提供四路和八路 NVIDIA HGX H200 服務(wù)器主板可選，其與HGX H100 系統的硬件和軟件都兼容。同時(shí)還可用于今年 8 月發(fā)布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper 超級芯片。這些配置使 H200 可以部署在各類(lèi)數據中心，包括本地、云、混合云和邊緣。

  在 NVIDIA NVLink 和 NVSwitch 高速互連技術(shù)的加持下，HGX H200 可為各種應用工作負載提供最高的性能，包括針對 1750 億參數以上超大模型的 LLM 訓練和推理。

  八路 HGX H200 可提供超過(guò) 32 PetaFLOPS 的 FP8 深度學(xué)習計算能力和 1.1TB 的聚合高帶寬內存容量，能夠為生成式 AI 和 HPC 應用帶來(lái)強勁性能。

  當H200 與采用超高速 NVLink-C2C 互連技術(shù)的 NVIDIA Grace CPU 搭配使用時(shí)，就組成了帶有 HBM3e 的 GH200 Grace Hopper 超級芯片——專(zhuān)為大型 HPC 和 AI 應用而設計的計算模塊。

  使用 NVIDIA 全棧式軟件加速 AI

  NVIDIA 加速計算平臺具備強大軟件工具支持，能夠助力開(kāi)發(fā)者和企業(yè)構建并加速從 AI 到 HPC 的生產(chǎn)就緒型應用，包括適用于語(yǔ)音、推薦系統和超大規模推理等工作負載的 NVIDIA AI Enterprise 軟件套件。

  供應情況

  NVIDIA H200 將于 2024 年第二季度開(kāi)始通過(guò)全球系統制造商和云服務(wù)提供商提供。

  關(guān)于NVIDIA

  自 1993 年成立以來(lái)，NVIDIA(NASDAQ: NVDA)一直是加速計算領(lǐng)域的先驅。NVIDIA 1999 年發(fā)明的 GPU 驅動(dòng)了 PC 游戲市場(chǎng)的增長(cháng)，并重新定義了現代計算機圖形，開(kāi)啟了現代 AI 時(shí)代，正在推動(dòng)跨市場(chǎng)的工業(yè)數字化。NVIDIA 現在是一家全棧計算公司，其數據中心規模的解決方案正在重塑整個(gè)行業(yè)。更多信息，請訪(fǎng)問(wèn) https://nvidianews.nvidia.com/。