NVIDIA 此次发表的技术包含 Isaac ROS 和 Isaac Sim，并搭配专属的开发者指南，为 ROS 开发者提供最新的生成式 AI 节点和工作流程，这些技术可轻松部署至 NVIDIA Jetson 平台，实现边缘 AI 和机器人应用。同时，Isaac Sim 的物理基模拟技术，让开发者能在实际部署之前进行模拟与验证 AI 模型，生成式 AI 进一步让机器人具备感知、理解环境并自主作出决策的能力。
生成式 AI 正在加速融入 ROS 社群。基于 ROS 2 架构的 ReMEmbR 结合大型语言模型（LLM）、视觉语言模型（VLM）及检索增强生成技术，增强了机器人的推理与行动能力，让机器人在环境中能更加灵活地导航和互动。
此外，NVIDIA 针对语音识别技术推出 WhisperTRT ROS 2 节点，该节点基于 NVIDIA TensorRT 将 OpenAI 的 Whisper 模型最佳化，实现低延迟的语音识别，使 Jetson 平台上的机器人能够更灵敏地回应语音指令，提供更加顺畅的人机互动体验。
在语音控制领域，ROS 2 机器人专案通过整合 NVIDIA Riva ASR-TTS 服务，实现机器人对语音指令的理解和回应能力。美国 NASA 喷射推进实验室 (JPL) 展示了 AI 驱动的 ROSA 代理，该代理运行于 Nebula-SPOT 机器人上，并在 Isaac Sim 环境中进行演示。
同时，Canonical 展示了 NanoOWL，这款基于 Jetson Orin Nano 模组的零样本目标侦测模型，能够即时识别物体，且无需依赖预先定义的分类，进一步提升机器人的实时应用能力。
ROS 开发者现在已经可以使用由 NVIDIA Jetson 平台优化的大型语言模型及视觉语言模型来强化机器人的能力，这些新功能将带动 ROS 2 节点生成式 AI 的广泛应用。
模拟技术对于验证 AI 驱动的机器人至关重要，Isaac Sim 是一款基于 OpenUSD 和 RTX 技术的模拟应用，为开发者提供虚拟环境进行测试。NVIDIA 也推出了《使用 Isaac Sim 的 ROS 2 工作流程初学者指南》，帮助开发者从模拟到部署的全程工作流程。
Foxglove 作为 NVIDIA Inception 计划成员之一，展示了整合功能，开发者可通过其客制化扩展，实时检视模拟数据并进行除错，进一步增强模拟应用。
NVIDIA 也宣布 Isaac ROS 3.2 版本的发布，新版本在感知、操作及环境映射等领域进行了全面升级，包括全新机器人工作流程与多摄影机侦测功能，适用于自主移动机器人（AMR）等应用。
點擊閱讀下一則新聞
