NVIDIA NIM 微服务现在可直接于 AWS Marketplace、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 取得，开发人员可以更轻松地为常用模型部署 NVIDIA 最佳化的推论功能，大规模提升生成式 AI 的效能。
NVIDIA NIM 是 NVIDIA AI Enterprise 软体平台的一部分，专为在跨云端、资料中心及工作站安全部署高效能、企业级 AI 模型推论而设计。这些预先建置的容器基于 NVIDIA Triton 推论伺服器、TensorRT 等强大引擎，支援开源社群与客制化模型。
AWS 使用者可在 NVIDIA API 目录预览超过 100 种 NIM 微服务，支持模型包括 Meta 的 Llama 3、Mistral AI 的 Mixtral，以及 NVIDIA 自有的 Nemotron 等。常用模型经过 NVIDIA 加速运算优化，可自托管部署于 AWS 云端上。
AWS 提供数款备受关注的 NIM 微服务，包括 NVIDIA Nemotron-4、Llama 3.1 8B-Instruct、Llama 3.1 70B-Instruct 及 Mixtral 8x7B Instruct 等，覆盖从语言理解到创意文本生成的多样化应用场景。
IT 咨询公司 SoftServe 开发出六款完全部署于 AWS 并由 NVIDIA NIM 支援的生成式 AI 解决方案，包括药物发现、工业助手和数位服务平台等，帮助各产业客户缩短上市时间，降低成本并强化控制。
SoftServe 的生成式 AI 解决方案基于 NVIDIA AI Blueprints，这套参考工作流程结合了加速函式库、软体开发套件及 NIM 微服务，协助企业快速开发和部署如数位孪生、AI 代理等创新应用。
开发人员可依据需求，利用 AWS 服务部署 NVIDIA NIM 微服务。访问 NVIDIA API 目录即可试用超过 100 种 NIM 最佳化模型，申请开发者授权或 90 天 NVIDIA AI Enterprise 试用授权，立即开始高效能 AI 的应用部署。
點擊閱讀下一則新聞
