NVIDIA 创办人暨执行长黄仁勋表示:「AI 领域发展的下一波浪潮便是机器人,而人形机器人是其中最令人期待的发展。我们将推动整个 NVIDIA 机器人堆叠,开放全球人形机器人开发人员与公司使用最适合其需求的平台、加速函式库与 AI 模型。」
NIM 微服务提供预先建置、由 NVIDIA 推论软体驱动的容器,让开发人员可以将部署时间从原本需要的数周缩短到只要几分钟即可完成。两项全新的 AI 微服务将可让机器人专家在 NVIDIA Isaac Sim中,强化生成式物理 AI 的模拟工作流程,而 NVIDIA Isaac Sim是建构在 NVIDIA Omniverse™ 平台上的机器人模拟参考应用程式。
MimicGen NIM 可根据来自 Apple Vision Pro 等空间运算装置记录下的远距操作资料,产生合成运动资料。Robocasa NIM 可在 OpenUSD 中产生机器人任务与模拟就绪的环境,而 OpenUSD 是用于在 3D 世界中进行开发与协作的通用框架。
现已开放使用的NVIDIA OSMO是一项云端原生托管式服务,可让使用者在分散式运算资源中协调与扩充复杂的机器人开发工作流程,无论是在内部部署或云端环境中。
OSMO 大幅简化机器人训练与模拟工作流程,将部署与开发周期时间从数个月缩短至一周以内。使用者可以视觉化和管理一系列任务,例如生成合成资料、训练模型、进行强化学习和为人形机器人、自主移动机器人和工业机械手臂实施大规模的软体在环(software-in-the-loop)测试。
训练人形机器人的基础模型需要大量资料。使用远距操作是撷取人类示范资料的方式之一,但这个过程变得越来越昂贵且漫长。NVIDIA AI 与 Omniverse 展示一项驱动的远距操作参考工作流程,可让研究人员与 AI 开发人员从最少量的远端撷取人类示范内容中,产生大量的合成运动和感知资料。
首先,开发人员使用 Apple Vision Pro 撷取少量远端操作示范内容。他们接著在 NVIDIA Isaac Sim 中模拟这些录影内容,并且使用 MimicGen NIM 从当中产生合成资料集。
开发人员利用真实与合成资料训练 Project GR00T 人形机器人基础模型,让开发人员省下时间及成本。接著,他们在机器人学习框架 Isaac Lab 中使用 Robocasa NIM 来产生经验,以重新训练机器人模型。NVIDIA OSMO 在整个工作流程中会流畅将运算工作指派给不同资源,这样开发人员可以省下数周的行政工作。
通用机器人平台公司 Fourier 看到了使用模拟技术来生成合成训练资料的好处。 Fourier 执行长 Alex Gu 表示:「开发人形机器人是一件极其复杂的工作,需要使用大量从现实世界中经过漫长时间取得的真实资料。NVIDIA 全新的模拟与生成式AI开发工具将有助于引导和加速我们的模型开发工作流程。」
NVIDIA 提供三种运算平台来简化开发人形机器人的作业:用于训练模型的 NVIDIA AI 超级电脑;建立在 Omniverse 上的 NVIDIA Isaac Sim,机器人可以在模拟世界中学习和完善技能;NVIDIA Jetson™ Thor 人形机器人电脑用于运行模型。开发人员可因应其特定需求,取得和使用所有或任何部分的平台。
开发人员加入全新的 NVIDIA 人形机器人开发者计划,能够抢先体验新产品,还有最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 与 Project GR00T 通用人形机器人基础模型。1x、Boston Dynamics、 ByteDance Research、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入抢先体验计划的业者。
Boston Dynamics技术长 Aaron Saunders 表示:「Boston Dynamics与 NVIDIA 长期以来密切合作,不断突破机器人技术的极限。我们十分兴奋见到这项工作的成果能够加速推动整个产业的发展,而抢先体验计划则是取得这么棒的技术的最好方式。」
开发人员现在就可以加入NVIDIA 人形机器人开发者计划,取得 NVIDIA OSMO 与 Isaac Lab,并也即将能使用NVIDIA NIM微服务。