NVIDIA推出新的NVIDIA AI Foundry服務和NVIDIA NIM推論微服務，透過同樣推出的Llama 3.1開放模型系列，為全球企業增強生成式人工智慧（AI）能力。
借助NVIDIA AI Foundry，企業和國家現在可以使用Llama 3.1和NVIDIA軟體、運算和專業知識為其特定領域的產業用例創建客製化「超級模型」。企業可以使用專有資料以及Llama 3.1 405B和NVIDIA Nemotron Reward模型產生的合成資料來訓練這些超級模型。
NVIDIA AI Foundry由NVIDIA DGX Cloud AI平台驅動，該平台是與公有雲共同設計的，可為企業提供重要的運算資源，並可根據AI需求的變化輕鬆擴展。
這些新產品推出正值企業以及制定主權AI策略的國家都希望利用特定領域的知識來建立客製化的大型語言模型，以用於反映其獨特的業務或文化的生成式AI應用。
NVIDIA 創辦人暨執行長黃仁勳表示，Meta公開推出的Llama 3.1模型代表了全球企業採用生成式AI的關鍵時刻。Llama 3.1為每個企業和產業打開了建構最先進的生成式人工智慧應用的閘門。NVIDIA AI Foundry已全面整合Llama 3.1，並準備好協助企業建置和部署客製化Llama超級模型。
為了增強用於生產AI的Llama 3.1模型的企業部署，現在可從ai.nvidia.com下載適用於Llama 3.1模型的NVIDIA NIM推論微服務。 NIM微服務是在生產環境中部署Llama 3.1模型的最快方式，與不使用NIM運行推理相比，吞吐量可提高2.5倍。
企業可以將Llama 3.1 NIM微服務與全新NVIDIA NeMo Retriever NIM微服務配對，為AI copilots、助理和數位人分身創建最先進的檢索管道。
需要額外訓練資料來創建特定領域模型的企業，可以同時使用Llama 3.1 405B和Nemotron-4 340B生成合成資料，從而在創建客製化Llama超級模型時提高模型準確性。
擁有自有訓練資料的客戶，可以使用NVIDIA NeMo客製化Llama 3.1模型，以進行領域自適應預訓練（DAPT），以進一步提高模型準確性。
NVIDIA和Meta也合作提供Llama 3.1的蒸餾方案（distillation recipe），開發人員可以藉此構建更小的客製化Llama 3.1模型以用於生成式AI應用。這使企業能夠在更廣泛的加速基礎設施上運行Llama驅動的AI應用，例如AI工作站和筆記型電腦。
使用新的NVIDIA NeMo Retriever NIM推論微服務進行檢索增強生成（RAG），組織可以在生產環境中部署客製化的Llama超級模型和Llama NIM微服務時，提升回應準確性。
結合Llama 3.1 405B的NVIDIA NIM推論微服務，NeMo Retriever NIM微服務為RAG管線提供最高的開源和商業文本問答檢索準確性。