多模態(tài)AI下一步是3D內容生成？ 新工具已火爆GitHub

  ICC訊 多模態(tài)內容生成展示了AIGC廣闊的應用空間， 3D有望成為下一個(gè)實(shí)現突破的模態(tài)。

  近期，一款名為DUSt3R的AI新工具火爆微軟旗下GitHub平臺，只需2張圖片2秒鐘就能完成3D重建，無(wú)需測量任何額外數據。這款AI工具才上線(xiàn)沒(méi)多久就登上GitHub熱榜第二。有網(wǎng)友實(shí)測，拍兩張照片就重建出了他家的廚房，整個(gè)過(guò)程耗時(shí)不到2秒鐘。

  3D模型生成通常需要MVS估計相機參數，并在3D空間中對相應的像素進(jìn)行三角測量。該產(chǎn)品同原來(lái)不一樣的是，它是一種對任意圖像進(jìn)行3D立體重建的全新范式，不需要相機校準以及視點(diǎn)姿態(tài)等先驗信息。從而可以實(shí)現提供兩個(gè)以上圖像的情況下，進(jìn)行3D建模重建。

  3D建模指的是使用軟件來(lái)創(chuàng )建三維對象或形狀的數學(xué)表示形式的過(guò)程。3D建模技術(shù)和3D模型廣泛應用于醫療、游戲、影視、建筑、產(chǎn)品設計還是虛擬現實(shí)等領(lǐng)域。

  AI+3D建模是利用人工智能技術(shù)，自動(dòng)化地生成高質(zhì)量的3D模型的過(guò)程。傳統的3D建模需要藝術(shù)家花費大量時(shí)間和精力進(jìn)行手工創(chuàng )作，而AI生成則通過(guò)訓練機器學(xué)習算法，使計算機能夠自動(dòng)學(xué)習和生成3D模型，極大地提高了效率和準確性，同時(shí)降低了整個(gè)制作成本。

  用戶(hù)只需要輸入關(guān)鍵詞或者上傳一張2D圖片，這些工具就能在段時(shí)間內直接生成多個(gè)比較初步的3D模型，而用戶(hù)滿(mǎn)意的話(huà)，則可以選擇進(jìn)一步生成精度更高的3D模型。

  當下的3D內容生成工具已經(jīng)不少，目前海外在A(yíng)I+3D技術(shù)上主要分為工業(yè)場(chǎng)景探索與非工業(yè)場(chǎng)景探索。非工業(yè)場(chǎng)景應用探索主要以谷歌的DreamFusion和英偉達的Magic3D為代表，主要面向游戲、元宇宙中的3D資產(chǎn)設計；工業(yè)場(chǎng)景應用則主要以衍生式設計軟件為主，如PTC的Creo以及Autodesk的Fushion360均提供衍生式設計能力。

  國內比較知名的3D生成AI模型包括：字節跳動(dòng)研究團隊開(kāi)發(fā)的MVDream；由幻方量化旗下的一家大模型企業(yè)DeepSeek開(kāi)發(fā)的DreamCraft3D；影眸科技從2016年開(kāi)始進(jìn)行人臉采集生成3D模型的業(yè)務(wù)。據該公司CTO張啟煊介紹，其人臉生成3D的服務(wù)，應該是目前國內3D生成里面唯一一個(gè)走進(jìn)游戲生產(chǎn)端的產(chǎn)品……

  用戶(hù)輸入文本：“奔跑在樹(shù)林中，搞笑的豬頭和孫悟空身體的混合形像”，DreamCraft3D生成的內容

  從ChatGPT代表的文生文，到DALL?E代表的文生圖，再到Sora代表的文生視頻，多模態(tài)已經(jīng)成為了共識的AI發(fā)展趨勢。中泰證券旗幟鮮明地提出，繼文本、代碼、圖片、視頻之后，下一個(gè)有可能實(shí)現突破的模態(tài)大概率是3D，“SORA之后的下一步：文生3D”。未來(lái)隨著(zhù)數字化的持續發(fā)展，3D資產(chǎn)數量的快速增長(cháng)，3D建模的自動(dòng)化生成或成為新的發(fā)展風(fēng)口，而以各種大模型為代表的AIGC生產(chǎn)能力賦能3D建模，以及文生3D需求持續增長(cháng)，都將促進(jìn)AI賦能3D建模的快速發(fā)展。

  不過(guò)AI+3D建模技術(shù)當前也面臨較多挑戰，如3D數據與資產(chǎn)缺乏、AI訓練難度高、AI實(shí)時(shí)渲染技術(shù)有限、商業(yè)化落地難度大等問(wèn)題。

  該機構進(jìn)一步稱(chēng)，產(chǎn)業(yè)視角建議持續跟蹤關(guān)注文生3D建模領(lǐng)域的進(jìn)展，標的視角BIM領(lǐng)域重點(diǎn)關(guān)注廣聯(lián)達、盈建科；CAX領(lǐng)域重點(diǎn)關(guān)注中望軟件、索辰科技、浩辰軟件；EDA領(lǐng)域重點(diǎn)關(guān)注華大九天、概倫電子。