ServiceNow、Hugging Face 和 NVIDIA 發(fā)布全新開(kāi)放獲取 LLM，助力開(kāi)發(fā)者運用生成式 AI 構建企業(yè)應用

  ICC訊 美國加利福尼亞州圣克拉拉 - 太平洋時(shí)間 2024 年 2 月 28 日 - ServiceNow(NYSE：NOW)、Hugging Face 和 NVIDIA 于今日發(fā)布 StarCoder2，其為一系列用于代碼生成的開(kāi)放獲取大語(yǔ)言模型(LLM)，將為性能、透明度和成本效益樹(shù)立新標準。

  StarCoder2 的聯(lián)合開(kāi)發(fā)者 BigCode 社區是由 ServiceNow 和 Hugging Face 共同管理。前者是一家領(lǐng)先的數字工作流公司，致力于為每個(gè)人創(chuàng )造更好的工作環(huán)境;后者則是最常用的開(kāi)源平臺，機器學(xué)習社區在該平臺上就模型、數據集和應用程序開(kāi)展合作。

  在 619 種編程語(yǔ)言上訓練而成的 StarCoder2，可接受進(jìn)一步的訓練并嵌入到企業(yè)應用中，以執行應用源代碼生成、工作流生成、文本摘要等特定任務(wù)。開(kāi)發(fā)者可以使用它的代碼補全、高級代碼摘要、代碼片段檢索等功能，加快創(chuàng )新速度及提高工作效率。

  StarCoder2 提供三種規模的模型：由 ServiceNow 訓練的 30 億參數模型、由 Hugging Face 訓練的 70 億參數模型，以及由 NVIDIA 使用 NVIDIA NeMo 構建并在 NVIDIA 加速基礎設施上訓練的 150 億參數模型。規模較小的模型由于參數較少，在推理過(guò)程中所需的計算量較少，可在提供強大性能的同時(shí)節省計算成本。實(shí)際上，新的 30 億參數模型在性能上與原有的 StarCoder 150 億參數模型不相上下。

  ServiceNow 的 StarCoder2 開(kāi)發(fā)團隊負責人兼 BigCode 聯(lián)合負責人 Harm de Vries 表示： “StarCoder2 證明了將開(kāi)放式科學(xué)協(xié)作和負責任的 AI 實(shí)踐與道德數據供應鏈相結合所產(chǎn)生的力量。這一極其先進(jìn)的開(kāi)放獲取模型將提高已有生成式 AI 的性能和開(kāi)發(fā)者的生產(chǎn)力，為開(kāi)發(fā)者提供平等的機會(huì )，獲得代碼生成式 AI 的優(yōu)勢。這使任何規模的企業(yè)都能更加輕松地激發(fā)其全部業(yè)務(wù)潛力?！?

  Hugging Face 機器學(xué)習工程師兼 BigCode 聯(lián)合負責人 Leandro von Werra 表示： “在 Hugging Face、ServiceNow 和 NVIDIA 的共同努力下，這套功能強大的基礎模型終于問(wèn)世。在數據和訓練完全透明的情況下，社區能夠更加高效地構建各種應用。StarCoder2 證明了開(kāi)源和開(kāi)放式科學(xué)的潛力，我們正在努力實(shí)現負責任 AI 的全民化?！?

  NVIDIA 應用研究副總裁 Jonathan Cohen 表示： “由于每個(gè)軟件生態(tài)系統都有專(zhuān)門(mén)的編程語(yǔ)言，代碼 LLM 可以推動(dòng)各行業(yè)效率和創(chuàng )新方面的突破。NVIDIA 與 ServiceNow 和 Hugging Face 的合作帶來(lái)了安全且負責任的模型，讓更多人能夠用上負責任的生成式 AI，我們相信這將使全球社區受益?！?

  StarCoder2 模型為自定義應用開(kāi)發(fā)增添強大助力

  StarCoder2 模型均使用來(lái)自 BigCode 的先進(jìn)架構和精心挑選的數據源。為了實(shí)現負責任的大規模創(chuàng )新，數據源的透明度和開(kāi)放治理被放在第一位。

  StarCoder2 提升了未來(lái)由 AI 驅動(dòng)的編碼應用的潛力，包括各種文本-代碼和文本-工作流轉換功能。通過(guò)更加廣泛、深入的編程訓練，它可以提供資源庫上下文，從而實(shí)現準確的上下文感知預測。無(wú)論是經(jīng)驗豐富的軟件工程師還是業(yè)余開(kāi)發(fā)者等，都能利用這些進(jìn)步提升業(yè)務(wù)價(jià)值和推動(dòng)數字化轉型。

  StarCoder2 的基礎是一個(gè)名為 Stack v2 的新代碼數據集，該數據集規模比 Stack v1 大 7 倍多。除了先進(jìn)的數據集之外，新的訓練技術(shù)也有助于模型理解低資源編程語(yǔ)言(如 COBOL 等)、數學(xué)和程序源代碼討論。

  使用特定業(yè)務(wù)數據對先進(jìn)功能進(jìn)行微調

  用戶(hù)可以使用 NVIDIA、NeMo 或 Hugging Face TRL 等開(kāi)源工具，利用特定行業(yè)或組織的數據，對開(kāi)放獲取的 StarCoder2 模型進(jìn)行微調?？梢詣?chuàng )建高級聊天機器人來(lái)處理更復雜的摘要或分類(lèi)任務(wù)、開(kāi)發(fā)能夠快速且輕松地完成編程任務(wù)的個(gè)性化編碼助手、檢索相關(guān)代碼片段，并實(shí)現文本-工作流轉換功能。

  為創(chuàng )建適合自身業(yè)務(wù)的特定任務(wù)功能，各企業(yè)已經(jīng)開(kāi)始對 StarCoder 基礎模型進(jìn)行微調。

  ServiceNow 的文本-代碼 Now LLM 就是在 150 億參數 StarCoder LLM 的專(zhuān)用版本上構建而成的，并針對其工作流模式、用例和流程進(jìn)行了微調和訓練。Hugging Face 也使用該模型創(chuàng )建了自己的 StarChat 助手。

  BigCode 促進(jìn) AI 領(lǐng)域的開(kāi)放式科學(xué)協(xié)作

  BigCode 是一個(gè)由 Hugging Face 和 ServiceNow 領(lǐng)導的開(kāi)放式科學(xué)協(xié)作社區，致力于負責任的代碼 LLM 開(kāi)發(fā)。

  BigCode 社區以工作組和特別任務(wù)組的形式積極參與 StarCoder2 項目的技術(shù)工作，分別使用 ServiceNow 的 Fast LLM 框架來(lái)訓練 30 億參數模型、使用 Hugging Face 的 nanotron 框架來(lái)訓練 70 億參數模型，以及 NVIDIA NeMo 云原生框架和 NVIDIA TensorRT-LLM 軟件來(lái)訓練和優(yōu)化 150 億參數模型。

  BigCode 的核心宗旨是促進(jìn)負責任的創(chuàng )新，其開(kāi)放的治理、透明的供應鏈、開(kāi)源軟件的使用，以及讓開(kāi)發(fā)者選擇數據不用于訓練等做法都體現了這一點(diǎn)。StarCoder2 是在獲得 Inria 托管的 Software Heritage 數字共享許可下，使用負責任的數據構建而成的。

  Software Heritage 總監 Roberto Di Cosmo 表示： “StarCoder2 是首個(gè)使用 Software Heritage 源代碼存檔開(kāi)發(fā)的代碼生成式 AI 模型，其構建方式符合我們負責任地開(kāi)發(fā)代碼模型的政策。ServiceNow、Hugging Face 和 NVIDIA 的這一合作體現了對道德 AI 開(kāi)發(fā)的共同承諾，引領(lǐng)技術(shù)朝著(zhù)更崇高的利益發(fā)展?！?

  StarCoder2 與其前代一樣，將在 BigCode Open RAIL-M 許可下免費提供訪(fǎng)問(wèn)和使用。為進(jìn)一步促進(jìn)透明度和協(xié)作，該模型的支持代碼將繼續保留在 BigCode 項目的 GitHub 頁(yè)面上。

  所有 StarCoder2 模型還可以在 Hugging Face 上下載。StarCoder2 150 億參數模型通過(guò) NVIDIA AI Foundation 模型提供，開(kāi)發(fā)者可以直接在瀏覽器上或通過(guò) API 端點(diǎn)進(jìn)行試用。

  欲了解關(guān)于 StarCoder2 的更多信息，請訪(fǎng)問(wèn)：https://huggingface.co/bigcode。

  關(guān)于 NVIDIA

  自 1993 年成立以來(lái)，NVIDIA(納斯達克：NVDA)一直是加速計算領(lǐng)域的先驅。NVIDIA 在1999 年發(fā)明的 GPU 驅動(dòng)了 PC 游戲市場(chǎng)的增長(cháng)，并重新定義了現代計算機圖形，開(kāi)啟了現代 AI 時(shí)代，正在推動(dòng)跨市場(chǎng)的工業(yè)數字化。NVIDIA 現在是一家全棧計算基礎設施公司，其數據中心規模的解決方案正在重塑整個(gè)行業(yè)。更多信息，請訪(fǎng)問(wèn)：https://nvidianews.nvidia.com/。

  關(guān)于 ServiceNow

  ServiceNow(NYSE：NOW)讓世界變得更美好。我們基于云的平臺和解決方案幫助企業(yè)實(shí)現數字化和統一，從而找到更加智能、快速、有效的工作流程，讓員工與客戶(hù)產(chǎn)生更多的聯(lián)系、更多的創(chuàng )新和更大的敏捷性。我們能夠創(chuàng )造出我們所想象的未來(lái)。ServiceNow? 與世界同心協(xié)力。欲了解更多信息，請訪(fǎng)問(wèn)：www.servicenow.com。

  關(guān)于 Hugging Face

  Hugging Face 是領(lǐng)先的開(kāi)源和社區驅動(dòng) AI 平臺。它所提供的工具使用戶(hù)能夠構建、探索、部署和訓練機器學(xué)習模型和數據集。欲了解更多信息，請訪(fǎng)問(wèn)：www.huggingface.co.