英偉達A800芯片也要被禁售了？中國AI大模型還能怎么玩？國產(chǎn)GPU能否挑大梁

  ICC訊 近日消息，美國考慮進(jìn)一步限制向中國出口A(yíng)I芯片，商務(wù)部最早可能在下個(gè)月初采取行動(dòng)。在沒(méi)有獲得許可證的情況下，美商務(wù)部將禁止英偉達等制造商向中國客戶(hù)運送AI芯片。英偉達專(zhuān)供中國的A800芯片，在無(wú)許可證的情況下也將被禁售。A800是英偉達專(zhuān)為中國客戶(hù)推出的產(chǎn)品，用以解決美國商務(wù)部的半導體出口新規，取代A100 GPU，該產(chǎn)品在2022年第三季度起投產(chǎn)。近段時(shí)間，大模型迅猛發(fā)展，國內在新規之前采購的可流通A100并不多，目前各互聯(lián)網(wǎng)廠(chǎng)商爭相采購的主要是A800。

  A800被禁售，國內AI大模型訓練受阻?

  在A(yíng)I大模型的訓練上，現在基本上是用英偉達的A100、H100以及特供中國的減配版 A800、H800。2020年和2022年，英偉達先后推出了A100芯片、H100芯片，其中A100顯卡又提供80GB、40GB兩個(gè)顯存版本，H100則提供80GB顯存。A100擁有540億晶體管，采用臺積電7nm工藝制程，支持FP16、FP32和FP64浮點(diǎn)運算，為人工智能、數據分析和HPC數據中心等提供算力。

  H100集成800億晶體管，采用臺積電定制的4nm工藝，相比于A(yíng)100，H100在FP16、FP32和FP64計算上比A100快三倍，非常適用于當下流行且訓練難度高的大模型。

  2022年9月，美國商務(wù)部對GPU 的出口規定，主要限制是顯卡的算力和帶寬，算力上線(xiàn)是4800 TOPS，帶寬上線(xiàn)是600 GB/s。A800的帶寬為400GB/s，低于A(yíng)100的600GB/s，H800的參數并未公布，據知情人士透露只有H100(900 GB/s)到約一半。這意味著(zhù)A800、H800在進(jìn)行AI模型訓練的時(shí)候，需要耗費更長(cháng)的時(shí)間，不過(guò)這相比于其他的同類(lèi)產(chǎn)品，性能仍然是高的。

  最近大半年時(shí)間，隨著(zhù)ChatGPT的出圈，國內外各大互聯(lián)網(wǎng)公司、AI企業(yè)都在大力研發(fā)自己的AI大模型產(chǎn)品，而這也造成了對GPU的極大需求。各大互聯(lián)網(wǎng)廠(chǎng)商都在大力采購英偉達的GPU芯片，包括百度、阿里、騰訊、字節跳動(dòng)等等。在國內，還可流通的A100并不多，據一家服務(wù)器定制企業(yè)的銷(xiāo)售經(jīng)理描述，需求太過(guò)火爆，甚至有人從機房里把芯片禁運政策生效前購買(mǎi)的A100 80GB拆出來(lái)倒賣(mài)。如今，國內市場(chǎng)還是主要倚賴(lài)在政策允許范圍內的A800芯片。不過(guò)大模型火爆之后，因為需求太大，A800也出現供貨周期拉長(cháng)、價(jià)格上漲的情況，據業(yè)內人士透露，之前兩周時(shí)間就能到貨，現在樂(lè )觀(guān)的情況也要4-6周的時(shí)間，甚至更長(cháng)。如今，根據美國商務(wù)部的意思，A800在無(wú)許可證的情況下將被禁售，這意味著(zhù)，后續國內企業(yè)在大模型的研究中，不僅僅是買(mǎi)到A800需要更長(cháng)時(shí)間的問(wèn)題，而是很可能買(mǎi)不到的問(wèn)題。而且不僅僅是A800，其他AI芯片向中國的銷(xiāo)售也可能受阻，包括原本也可以用于一些模型訓練，性能較差一些的V100等。這意味著(zhù)，國內企業(yè)AI大模型后續的訓練將受阻。

  國產(chǎn)GPU能否挑大梁?

  如此看來(lái)，國內AI后續的發(fā)展，它對算力的需求似乎就只能指望國產(chǎn)GPU了。目前國產(chǎn)GPU的情況如何呢?

  大模型訓練需要處理高顆粒度的信息，對云端訓練芯片的芯片處理信息的精細度和算力速度要求更高，現階段國產(chǎn)GPU大多數不具備支撐大模型訓練所需的能力。不同于多媒體和圖形處理的單精度浮點(diǎn)計算(FP32)計算需求，在超算領(lǐng)域，雙精度浮點(diǎn)計算能力FP64是進(jìn)行高算力計算的硬性指標。目前國內GPU芯片的云端訓練公司，大多只能處理單精度浮點(diǎn)計算，如壁仞科技(通用GPU芯片BR100)、天數智芯(“智鎧100”)、寒武紀(云端推理思元270)的產(chǎn)品在FP32的理論指標上做得不錯，但沒(méi)有處理FP64的能力。

  根據公開(kāi)消息，目前國內唯一支持FP64雙精度浮點(diǎn)運算的只有某司推出的DCU(協(xié)處理器)，但是它的性能只有A100的60%左右。所以說(shuō)，從短期來(lái)看，國產(chǎn)的GPU產(chǎn)品還難以支撐起AI大模型的訓練，這意味著(zhù)英偉達A800芯片被禁售，國內AI大模型接下來(lái)的研究將難以為繼。那是不是說(shuō)，無(wú)論是國內的AI大模型企業(yè)，還是國產(chǎn)的GPU企業(yè)，真的就束手無(wú)策了?也并不是。據業(yè)內人士介紹，對于算力的需求主要與模型參數有關(guān)，大廠(chǎng)現在所做的通用大模型依然只能使用英偉達的產(chǎn)品。但是，垂類(lèi)行業(yè)的大模型(金融、醫療等)或者參數量不像GPT那樣大的模型，一些國產(chǎn)GPU也能夠做到。比如，國內某短視頻平臺參數量約為1000億的大模型，就用了寒武紀的產(chǎn)品，做訓練和推理。當然該模型訓練使用了英偉達的A100。

  此外，今年6月10日，天數智芯對外宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院70億參數的Aquila語(yǔ)言基礎模型，使用代碼數據進(jìn)行繼續訓練，穩定運行19天，模型收斂效果符合預期，證明天數智芯有支持百億級參數大模型訓練的能力。摩爾學(xué)院院長(cháng)李豐此前對媒體表示，公司已經(jīng)可以支持3億參數量模型的訓練。首都在線(xiàn)表示，公司與燧原科技聯(lián)合開(kāi)發(fā)的AIGC模型方案已發(fā)布內測，產(chǎn)品可以從容應對前期投入大、算力要求高、算法模型快速迭代創(chuàng )新的需求，并廣泛支持文本、語(yǔ)音、視覺(jué)等各技術(shù)方向的模型訓練?？梢?jiàn)，目前國產(chǎn)GPU雖然在參數量較大的模型訓練上存在不足，但是確實(shí)已經(jīng)能夠在一些中小參數模型的訓練上有所作為。登臨科技聯(lián)合創(chuàng )始人王平此前對媒體表示，相比于國際領(lǐng)先的GPU產(chǎn)品，國產(chǎn)GPU確實(shí)在滿(mǎn)足大模型訓練上存在差距，因為此前行業(yè)在產(chǎn)品定義上未朝大模型方向做設計。

  而現在國產(chǎn)GPU公司都在朝著(zhù)大模型方向去布局，相信未來(lái)終能夠找到方向，進(jìn)行突破。而且如今A800在無(wú)許可證的情況下如果禁售，這對于國產(chǎn)GPU的發(fā)展將會(huì )有強大的刺激作用，因為如果不突破，意味著(zhù)國內未來(lái)AI大模型的發(fā)展將無(wú)計可施，這似乎成了唯一的出路。目前業(yè)界正在做相關(guān)的探索，比如，思考能否通過(guò)Chiplet、先進(jìn)封裝的方式提高算力。研究如何提升芯片與芯片間的數據傳輸速度等。昆侖芯就表示，相較于第一代產(chǎn)品，昆侖芯2在算力、互聯(lián)上都有大幅優(yōu)化，公司正在不斷研發(fā)新的產(chǎn)品和技術(shù)，以滿(mǎn)足ChatGPT等大模型的應用需求。

  小結

  很顯然，在A(yíng)100、H100之后，若A800在無(wú)許可證下被禁售，意味著(zhù)國內AI大模型后續的訓練將無(wú)GPU可用。目前而言國產(chǎn)GPU幾乎還不能用于較大規模參數模型的訓練。不過(guò)可以看到，一些產(chǎn)品在較小規模，比如幾億、甚至百億級別參數規模的模型訓練上，已經(jīng)可以有所作為。而且目前眾廠(chǎng)商都在朝著(zhù)大模型應用方向進(jìn)行探索，從長(cháng)遠來(lái)看，必然會(huì )逐步取得進(jìn)展。

來(lái)源：電子發(fā)燒友網(wǎng)報道(文/李彎彎)