Eureka！NVIDIA 研究突破為機器人學(xué)習注入新動(dòng)力

  ICC訊 NVIDIA Research 開(kāi)發(fā)的一款名為 Eureka 的新型 AI 智能體可以教機器人復雜的技能，它教會(huì )了機器人手快速轉筆，并且第一次轉得像人類(lèi)一樣好。

  上面視頻中所展示的令人驚嘆的“魔術(shù)”是機器人通過(guò) Eureka 學(xué)會(huì )熟練完成的近 30 項任務(wù)之一，Eureka 可以自動(dòng)編寫(xiě)獎勵算法來(lái)訓練機器人。

  Eureka 還教會(huì )了機器人完成打開(kāi)抽屜和柜子、拋接球、操作剪刀等任務(wù)。

  于 10 月 20 日發(fā)布的這一 Eureka 研究包含一篇論文和該項目的 AI 算法，開(kāi)發(fā)者可以使用 NVIDIA Isaac Gym(一款用于強化學(xué)習研究的物理模擬參考應用)進(jìn)行實(shí)驗。Isaac Gym 基于 NVIDIA Omniverse 而構建，后者是一個(gè)用于基于 OpenUSD 框架構建 3D 工具和應用的開(kāi)發(fā)平臺。Eureka 自身是由 GPT-4 大型語(yǔ)言模型驅動(dòng)的。

  NVIDIA AI 研究高級總監、Eureka 論文作者之一的 Anima Anandkumar 表示：“在過(guò)去十年，強化學(xué)習取得了空前成功，但依然面臨許多挑戰，比如獎勵設計需要不斷試錯才能完成。Eureka 是朝著(zhù)開(kāi)發(fā)將生成式和強化學(xué)習方法結合以解決這些艱巨的任務(wù)的新算法邁出的第一步?！?

  相關(guān)精彩視頻已在NVIDIA中國西瓜視頻賬號發(fā)布：

  NVIDIA Research 最新研究成果：Eureka 用 LLM 訓練機器人靈巧操作

  AI訓練機器人

  據該論文介紹，Eureka 生成的獎勵程序(可讓機器人進(jìn)行試錯學(xué)習)在超過(guò) 80% 的任務(wù)上優(yōu)于人類(lèi)專(zhuān)家編寫(xiě)的程序，這使得機器人的平均性能提高了 50% 以上。

  該 AI 智能體使用 GPT-4 LLM 和生成式 AI 編寫(xiě)軟件代碼，為機器人進(jìn)行強化學(xué)習提供獎勵。它不需要任何特定任務(wù)提示或預定義的獎勵模板，并且能夠隨時(shí)結合人類(lèi)的反饋改進(jìn)其獎勵，使結果更加精準地符合開(kāi)發(fā)者的愿望。

  利用 Isaac Gym 中的 GPU 加速模擬，Eureka 能夠快速評估大批獎勵候選者的質(zhì)量，從而提高訓練效率。

  Eureka 隨后會(huì )基于訓練結果匯總關(guān)鍵統計數據，并指導 LLM 改進(jìn)其獎勵函數的生成。通過(guò)這種方式，AI 可以自我完善。Eureka 教會(huì )了各類(lèi)機器人，包括四足機器人、雙足機器人、四旋翼機器人、靈巧手、協(xié)作機器人臂等，來(lái)完成不同類(lèi)型的任務(wù)。

  該研究論文對 20 個(gè) Eureka 訓練任務(wù)進(jìn)行了深入評估，這些任務(wù)基于開(kāi)源的靈巧性基準，要求機器人手展示一系列復雜的雙手任務(wù)。

  這些來(lái)自九個(gè) Isaac Gym 環(huán)境的測試結果通過(guò)使用 NVIDIA Omniverse 生成的可視化進(jìn)行了展示。

  該項目的貢獻者之一、NVIDIA 高級研究科學(xué)家 Linxi “Jim” Fan 表示：“Eureka 是一個(gè)獨特的組合，將大型語(yǔ)言模型與 NVIDIA GPU 加速的模擬技術(shù)相結合，可以實(shí)現靈巧的機器人控制，并且為藝術(shù)家提供了一種制作物理逼真動(dòng)畫(huà)的新方法?！?

  除了 NVIDIA Research 最近取得的進(jìn)展(比如使用 GPT-4 構建的能夠自主玩 《我的世界》的 AI 智能體 Voyager)之外，這項突破性的研究成果也必將讓開(kāi)發(fā)者們腦洞大開(kāi)。

  NVIDIA Research 由全球數百名科學(xué)家和工程師組成，團隊專(zhuān)注于 AI、計算機圖形學(xué)、計算機視覺(jué)、自動(dòng)駕駛汽車(chē)、機器人學(xué)等領(lǐng)域的研究。

  進(jìn)一步了解 Eureka 與 NVIDIA Research。

  關(guān)于NVIDIA

  自1993年成立以來(lái)，NVIDIA (NASDAQ: NVDA) 一直是加速計算領(lǐng)域的先驅。NVIDIA 1999 年發(fā)明的 GPU 驅動(dòng)了 PC 游戲市場(chǎng)的增長(cháng)，并重新定義了現代計算機圖形，開(kāi)啟了現代 AI 時(shí)代，正在推動(dòng)跨市場(chǎng)的工業(yè)數字化。NVIDIA 現在是一家全棧計算公司，其數據中心規模的解決方案 正在重塑整個(gè)行業(yè)。更多信息，請訪(fǎng)問(wèn)https://nvidianews.nvidia.com/。