NVIDIA 發(fā)布具有推理功能的開源 Llama Nemotron 模型系列，旨在為開發(fā)者和企業(yè)提供業(yè)務(wù)就緒型基礎(chǔ)，助力構(gòu)建能夠獨立工作或以團隊形式完成復(fù)雜任務(wù)的高級 AI 智能體。

NVIDIA Llama Nemotron 推理模型系列基于 Llama 模型構(gòu)建，提供按需 AI 推理功能。 NVIDIA 在后訓練期間對該推理模型系列進行了增強，以提升多步數(shù)學運算、編碼、推理和復(fù)雜決策能力。

與基礎(chǔ)模型相比，這種增強過程將模型的精度提高多達 20%；與其他領(lǐng)先的開放推理模型相比，優(yōu)化推理速度達到了 5 倍。推理性能的提高意味著模型可處理更復(fù)雜的推理任務(wù)，增強決策能力，并降低企業(yè)運營成本。

包括埃森哲、Amdocs、Atlassian、Box、Cadence、CrowdStrike、德勤、IQVIA、微軟、SAP 和 ServiceNow 的領(lǐng)先智能體 AI 平臺， 正在這一全新推理模型和軟件上與 NVIDIA 進行合作。

“推理和代理式 AI 的采用速度非常驚人，” NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“NVIDIA 的開放推理模型、軟件和工具為世界各地的開發(fā)者和企業(yè)構(gòu)建高效的代理式 AI 團隊提供了堅實基礎(chǔ)?！?/p>

NVIDIA 后訓練為企業(yè)推理提高準確性和可靠性

Llama Nemotron 模型系列專為提供生產(chǎn)就緒型 AI 推理而打造，以 NVIDIA NIM? 微服務(wù)形式提供，包括 Nano、Super 和 Ultra 三種規(guī)模，每種規(guī)模都針對不同部署需求進行了優(yōu)化。

Nano 模型可在 PC 和邊緣設(shè)備上提供最高準確性；Super 模型能夠在單個 GPU 上提供最佳的準確性和最高的吞吐量；而 Ultra 模型將在多 GPU 服務(wù)器上實現(xiàn)最高代理準確性。

NVIDIA 在 NVIDIA DGX? Cloud 上采用高質(zhì)量精選合成數(shù)據(jù)進行大量后訓練，該合成數(shù)據(jù)由 NVIDIA Nemotron? 模型和其他開源模型，以及 NVIDIA 共同創(chuàng)建的其它精選數(shù)據(jù)集生成。

用于開發(fā)模型的工具、數(shù)據(jù)集和后訓練優(yōu)化技術(shù)將全面開放，為企業(yè)提供靈活性，以構(gòu)建自己的自定義推理模型。

代理式平臺與 NVIDIA 合作為各行業(yè)增強推理能力

代理式 AI 平臺行業(yè)領(lǐng)導者正在使用 NVIDIA Llama Nemotron 推理模型，為企業(yè)提供先進推理能力。

微軟將 Llama Nemotron 推理模型和 NIM 微服務(wù)集成到 Microsoft Azure AI Foundry 中。 此舉擴展了 Azure AI Foundry 模型目錄，為客戶提供增強服務(wù)的選項，如針對 Microsoft 365 的 Azure AI Agent Service。

SAP 正利用 Llama Nemotron 模型，推動 SAP Business AI 解決方案和 SAP 智能副駕 Joule 的發(fā)展。 此外，它還采用 NVIDIA NIM 和 NVIDIA NeMo? 微服務(wù)，提高了 SAP ABAP 編程語言模型的代碼補全精度。

“我們正在與 NVIDIA 合作，將 Llama Nemotron 推理模型整合到 Joule 中，以增強我們的 AI 智能體，使其更加直觀、準確且具有成本效益?！?SAP 全球 AI 負責人 Walter Sun 表示，“這些先進的推理模型將優(yōu)化和重寫用戶查詢請求，使我們的 AI 能夠更好地理解問題，并提供更智能、更高效的 AI 體驗，從而推動業(yè)務(wù)創(chuàng)新?！?/p>

ServiceNow 正利用 Llama Nemotron 模型構(gòu)建 AI 智能體，提供更高的性能和準確性，從而提升各行各業(yè)的企業(yè)生產(chǎn)力。

埃森哲已經(jīng)在其 AI Refinery 平臺上提供 NVIDIA Llama Nemotron 推理模型，包括今日發(fā)布的全新行業(yè)智能體解決方案 —— 可助力客戶快速開發(fā)和部署定制 AI 智能體，以應(yīng)對行業(yè)特定挑戰(zhàn)，加速業(yè)務(wù)轉(zhuǎn)型。

德勤計劃將 Llama Nemotron 推理模型納入其近期發(fā)布的 Zora AI 代理式 AI 平臺，該平臺旨在通過包含深度功能性、特定行業(yè)業(yè)務(wù)知識以及具備透明度的智能體，為人類決策和行動提供支持。

NVIDIA AI Enterprise 為代理式 AI 提供必要工具

開發(fā)者可借助新的 NVIDIA 代理式 AI 工具和軟件，部署 NVIDIA Llama Nemotron 推理模型，簡化高級推理在協(xié)作 AI 系統(tǒng)中的應(yīng)用。

作為 NVIDIA AI Enterprise 軟件平臺的組成部分，最新的代理式 AI 構(gòu)建模塊包括：

• NVIDIA AI-Q Blueprint 助力企業(yè)將知識導入可自主感知、推理和行動的 AI 智能體。這一藍圖由 NVIDIA NIM 微服務(wù)構(gòu)建，集成 NVIDIA NeMo Retriever? 用于多模態(tài)信息檢索，使用開源 NVIDIA AgentIQ 工具包將智能體和數(shù)據(jù)連接并優(yōu)化，同時實現(xiàn)公開透明。
• NVIDIA AI 數(shù)據(jù)平臺為新型企業(yè)基礎(chǔ)設(shè)施提供的可定制參考設(shè)計，集成了使用 AI-Q Blueprint 構(gòu)建的 AI 查詢智能體。
• 為復(fù)雜代理式 AI 應(yīng)用優(yōu)化推理的全新 NVIDIA NIM 微服務(wù)，可實現(xiàn)持續(xù)學習，并實時適應(yīng)任意環(huán)境。微服務(wù)可確保對來自領(lǐng)先模型構(gòu)建商，包括 Meta、微軟和 Mistral AI 的最新模型進行可靠部署。
• NVIDIA NeMo 微服務(wù)提供高效企業(yè)級解決方案，以快速建立并維護具有魯棒性的數(shù)據(jù)飛輪，讓 AI 智能體持續(xù)學習人類和 AI 生成的反饋。用于構(gòu)建數(shù)據(jù)飛輪的 NVIDIA AI Blueprint 為開發(fā)者提供一個參考架構(gòu)，使開發(fā)者可以利用 NVIDIA 微服務(wù)輕松構(gòu)建和優(yōu)化數(shù)據(jù)飛輪。

可用性
NVIDIA Llama Nemotron Nano、Super 模型和 NIM 微服務(wù)的托管應(yīng)用編程接口，可通過 NVIDIA 官網(wǎng) 和 Hugging Face 獲取。NVIDIA 開發(fā)者計劃成員可免費訪問，用于其開發(fā)、測試和研究工作。

企業(yè)可在加速數(shù)據(jù)中心和云基礎(chǔ)設(shè)施上借助 NVIDIA AI Enterprise 在生產(chǎn)環(huán)境中運行 Llama Nemotron NIM 微服務(wù)。開發(fā)者可以提前注冊，以便在 NVIDIA NeMo 微服務(wù)發(fā)布時及時收到通知。

NVIDIA AI-Q Blueprint 將于 4 月發(fā)布。NVIDIA AgentIQ 工具包現(xiàn)可前往 GitHub 下載。