英偉達AI芯片上新 傳遞兩大信號

  ICC訊 美國當地時(shí)間11月13日，在2023年全球超算大會(huì )（SC23）上，英偉達推出了新一代GPU H200。當日，英偉達的股價(jià)在截至收盤(pán)時(shí)間增長(cháng)0.6%，為486.2美元，數據顯示，英偉達創(chuàng )下了近7年來(lái)最長(cháng)的連漲記錄。這一次，英偉達將AI芯片的發(fā)展方向引向了存儲和推理能力。

  英偉達的新品，與早些時(shí)候英特爾和AMD透露的AI芯片發(fā)布計劃呼應，AI芯片從以算力為中心的競爭向更加多樣化發(fā)展。

  AI芯片競爭焦點(diǎn)轉向存儲？

  相比于前代H100，H200的性能提升了60%-90%，但是單看算力這一指標，H200的算力與H100基本相同，對比兩者的產(chǎn)品規格表可以發(fā)現，實(shí)現算力不變而性能飛躍的關(guān)鍵點(diǎn)就是內存。

H100與H200規格對比

  英偉達在發(fā)布H200時(shí)表示，該產(chǎn)品是全球首款搭載HBM3e的GPU，而H100中使用的仍是HBM3。據了解，HBM3e能夠為H200提供傳輸速度達4.8TB/秒的141GB顯存。與前代產(chǎn)品、常被其他競爭者視作“計量單位”的A100 相比，其容量也翻了近乎一倍，帶寬增加了2.4 倍。

AMD將發(fā)布MI300X

  事實(shí)上，英偉達在A(yíng)I芯片方面的挑戰者AMD在幾個(gè)月前就強調了AI芯片存儲容量的重要性。AMD CEO蘇姿豐表示，AMD即將于今年12月推出的純GPU產(chǎn)品Instinct MI300X使用具備192GB顯存的HBM3，帶寬為5.2GB/秒。值得注意的是，AMD產(chǎn)品具備8個(gè)HBM3顯存堆棧，而英偉達產(chǎn)品僅有6個(gè)。同時(shí)，AMD首個(gè)AI加速器產(chǎn)品MI300A也擁有多達13顆小芯片，共包含1460億個(gè)晶體管，配置128GB的HBM3內存，相比前代的MI250，MI300A的性能提高8倍，效率提高5倍。

  在英特爾方面，英特爾CEO帕特·基辛格曾在9月舉行的英特爾on技術(shù)創(chuàng )新峰會(huì )上公布了英特爾AI芯片的路線(xiàn)圖：到2024年，英特爾將推出采用5nm制程的Gaudi3，再下一代AI芯片代號則為Falcon Shores。Gaudi2于2022年推出，從產(chǎn)品規格來(lái)看，Gaudi2所使用的是6個(gè)HBM2堆棧共96GB。英特爾表示，Guadi3的算力將是前代產(chǎn)品Gaudi2的兩倍，網(wǎng)絡(luò )帶寬、HBM容量是Gaudi2的1.5倍。

英特爾Gaudi2規格

  可以看出， 在各芯片企業(yè)的推動(dòng)下，AI芯片的競逐正從初期的算力指標競爭，進(jìn)一步延展到存儲領(lǐng)域，HBM（高帶寬存儲）幾乎成為了未來(lái)AI芯片當中必備且必爭的存儲器。英偉達超大規模和高性能計算副總裁Ian Buck表示：“想要通過(guò)生成式AI和HPC應用創(chuàng )造智能，就必須使用大型、快速的GPU顯存來(lái)高速、高效地處理海量數據?！?

  半導體行業(yè)專(zhuān)家盛陵海告訴《中國電子報》記者：“從技術(shù)角度來(lái)講，存儲性能是提高AI訓練能力的瓶頸，如果存儲能力跟不上算力，整個(gè)模型的訓練便難以高效運行；從企業(yè)角度來(lái)講，發(fā)展存儲性能也是性?xún)r(jià)比相對較高的方式之一?！睋私?，當前最高規格高帶寬存儲器的HBM3e主要由SK海力士、三星以及美光提供。

  AI芯片性能提升貴在推理？

  大模型訓練和推理的效率與效果是衡量GPU性能的重要指標，各大廠(chǎng)商也圍繞著(zhù)大模型訓練與推理不斷提升自身實(shí)力。

H200與H100的推理性能對比

  H200的性能提升數據著(zhù)重體現在模型推理上面。英偉達表示，H200在700億參數的大語(yǔ)言模型Llama2上的推理速度比H100提高了近一倍，功耗也會(huì )降低50%。同時(shí)，英偉達H200和H100由于都基于Hopper架構，互相之間具備強兼容性，可實(shí)現一定程度上的替換，同時(shí)英偉達透露，下一代采用全新架構的GPU B100也將于2024年推出，進(jìn)一步強化訓練和推理的性能。

  面向訓練需求，半導體廠(chǎng)商推出了多塊芯片互連的解決方案，用以支持更大參數的模型訓練。英特爾的GAUDI 2 HLBA-225支持8塊Guadi2共同運行；AMD推出Instinct平臺同樣搭載8塊MI300X，被蘇姿豐稱(chēng)作是“人工智能推理和訓練的終極解決方案”；英偉達依靠自身NVLink和NV Switch的高速互連技術(shù)，推出了HGXH200的服務(wù)器主板。英偉達稱(chēng)，客戶(hù)可選擇搭載4塊或8塊H200，配合Grace Hopper芯片可為各種應用工作負載提供最高的性能，包括針對1750億參數以上超大模型的LLM訓練和推理。

  “從訓練來(lái)看，雖有目前常說(shuō)的‘百模大戰’，但是其參數量和精度等還需要進(jìn)一步優(yōu)化，同時(shí)，專(zhuān)業(yè)大模型的成熟度也不比通用大模型，故而當前的主要訴求仍在大模型訓練上?！笔⒘旰Ｕf(shuō)，“而同時(shí)，未來(lái)的推理需求則逐步增加，因為人工智能的應用落地，最終還是要看推理能力?！?