NVIDIA 发布了机器人仿真参考应用 Isaac Sim 和机器人学习框架 Isaac Lab 的开发者预览版。开发者现在可以通过 GitHub 访问早期版本，抢先体验先进功能，用于在基于物理的仿真环境中构建、训练和测试 AI 驱动的机器人。



Isaac Sim 的更新




图 1. Isaac Sim 中对带叉车的工厂场景的仿真

Isaac Sim 是基于 NVIDIA Omniverse 构建的参考应用，使开发者能够在基于物理的仿真环境中开发、仿真和测试 AI 驱动的机器人。Isaac Sim 5.0 的主要更新包括以下：



开源可用性



Isaac Sim 专用的扩展程序正在一个新的公共 Github 库中开源，这将允许开发者构建和运行 Isaac Sim。此资源库将作为社区的早期访问版，通过公共开发分支提供新功能的访问权限。但是，Omniverse Kit 的组件仍是非开源的，目前不接受外部贡献。



此公共开发分支将通过修复错误不断更新。当所有组件通过 NVIDIA 的质量保证标准后，将为官方 5.0 版本提供二进制发布版本。


先进的合成数据生成流程



Isaac Sim 引入了几个新的扩展程序，进一步扩展了合成数据生成能力，以用于训练、测试和验证 AI 驱动的机器人。



MobilityGen 将作为 Isaac Sim 中的扩展程序提供，支持生成各种基于物理的数据和感知模型训练数据，例如占用地图、机器人状态、位姿、速度和图像。

Grasp 数据生成将作为新教程推出，其介绍的工作流支持自动生成抓取候选项，仿真每次抓取尝试，并记录用于训练和评估的成功指标。

新的 NVIDIA Omniverse Replicator writer 针对 NVIDIA Cosmos Transfer 输入进行了优化，使开发者能够轻松生成并导出高质量合成数据。它支持独立工作流和脚本编辑器，并可以无缝集成到现有的 Isaac Sim 合成数据生成脚本中。

Isaac Sim 中的新工作流现在可以支持大规模物理环境的合成数据生成。其中包括触发多样化真实场景的 Incident Simulation，以及自动标记事件数据以丰富训练数据集的 Caption Generation，二者共同增强了对用于视觉 AI 模型开发的场景的理解。此外，现有的 Actor 和 Object Simulation 工作流已经过优化，可进一步提高合成数据的质量和效率。



新的机器人模型



Isaac Sim 5.0 引入新的机器人模型和导入工具，使仿真设置更快、更一致，并更接近真实世界行为。



新的机器人模式将 OpenUSD 中的机器人定义标准化，该模式已被 NVIDIA 的扩展机器人资产库采用，其中包含新的机器人模型。机器人导入器现在使用新的机器人模式，新的 Robot Import Wizard 提供了一个简化的分步流程，用于装配和导入用于仿真的机器人。

Isaac Sim 5.0 中的新模式还支持通过 OpenUSD 模式定义的新关节摩擦模型，包括执行器和摩擦参数，该模型由 NVIDIA 与海克斯康和 maxon 合作开发。这些模型能够确保仿真中关节和电机的驱动更接近真实世界的系统动态，从而缩小仿真与现实之间的差距。



改进的传感器仿真



Isaac Sim 在传感器仿真方面取得了重大进步，使定义和测试传感器模型变得比以往更容易，具有更高的真实感和可控性。



新的 OmniSensor USD 架构将直接在 USD 中定义 RTX 传感器，同时引入一种新的深度传感器模型，这种模型能够仿真出具有详细差异伪影的逼真立体深度。此外，资产库也得到扩展，包含了多种新的传感器模型。



标准化的 ROS 2 接口和 ZMQ 桥接器



Isaac Sim 5.0 全面支持 ROS 2 Jazzy Jalisco，兼容标准化的 ROS 2 仿真接口，以及用于运动规划工作流的更新版 MoveIt 2 教程。此外，新的 ZeroMQ 桥接器便于 Isaac Sim 与外部系统之间的通信，还可以作为开发自定义中间件桥接器的参考示例。



Isaac Lab 的更新




图 2. Isaac GR00T N1 部署在 Isaac Lab 中的傅利叶 GR1 人形机器人上，用于双手操作任务



Isaac Lab 是专为训练和评估机器人学习策略而构建的开源框架。Isaac Lab 2.2 的更新支持以下功能：



增强的合成动作生成：利用 Isaac GR00T-Mimic 的双臂训练环境，放大收集的数据以用于机器人操作。

Omniverse Fabric 集成：Isaac Lab 现在支持 Fabric，可加快加载时间，更高效地执行物理仿真和传感器数据采集。

张量化吸盘夹具：提供灵活的动态抓取仿真，这对于准确的强化学习和操作任务至关重要。



开始开发



从 Github 下载源代码，即可开始使用 Isaac Sim 5.0 和 Isaac Lab 2.2 的早期开发版。

https://github.com/isaac-sim/IsaacSimZMQ

https://github.com/isaac-sim/IsaacLab

开始使用 NVIDIA Isaac 库和 AI 模型来开发物理 AI 系统：

https://developer.nvidia.cn/isaac/lab