上海信弘智能科技有限公司,信弘,智能,信弘智能科技,Elite Partner,Omniverse,智能科技,NVIDIA GPU,NVIDIA DGX, vGPU,TESLA,QUADRO,AI,AI培训,AI课程,人工智能,解决方案,DLI,Mellanox,IB, 深度学习,RTX,IT,ORACLE 数据库,ORACLE云服务,深度学习学院,bigdata,大数据,数据安全备份,鼎甲,高性能计算, 虚拟机,虚拟桌面,虚拟软件,硬件,软件,加速计算,HPC,超算,服务器,虚拟服务器,IT咨询,IT系统规划,应用实施,系统集成

ZENTEK 新闻

仅使用智能手机在 NVIDIA Isaac Sim 中重建场景

构建用于机器人仿真的逼真 3D 环境,往往非常耗时且高度依赖人力。如今,借助 NVIDIA Omniverse NuRec,只需一部智能手机即可完成全流程操作。


这套简洁的实景仿真工作流,可将日常中手机拍摄的照片转化为可直接用于机器人的交互式场景。整个流程很简单:图像采集、COLMAP 处理、3DGUT 重建、USDZ 导出,最后加载至 NVIDIA Isaac Sim 中。该工作流用一种简单且可复现的数字孪生路径,取代了以往耗时的摄影测量流程,能够快速进行驱动、路径规划与测试。


本文将逐步介绍操作方法:从使用手机采集图像,到利用 3DGUT 进行 3D 场景重建,再到将重建的场景导入 NVIDIA Isaac Sim 并配置机器人。



  • 第 1 步:采集真实场景数据

    拍摄需要重建的真实环境的照片,无需任何特殊设备,只需围绕场景走动并使用手机进行拍摄即可。


  • 第 2 步:使用 COLMAP 生成稀疏重建

    当拍完照片后,下一步是从这些图像中计算出 3D 结构并确定摄像头的位置。COLMAP 将生成该场景的稀疏点云,并估算每张照片对应的摄像头参数。COLMAP 处理完成后,您将获得场景的稀疏点云数据以及所有图像的摄像头位置数据。


  • 第 3 步:使用 3DGUT 密集训练 3D 模型,并导出为 USD

    具体步骤包括:设置 3DGUT 环境、克隆 3DGUT 存储库、准备 COLMAP 输出、运行 3DGUT 训练脚本并导出 USDZ。运行命令后,3DGUT 将开始训练。它会读取图像和 COLMAP 数据,并持续优化 3D 表征。此过程耗时取决于场景的复杂程度和 GPU 性能。将重建的场景导出为 USD 格式后,即可在 Isaac Sim 中使用。


  • 第 4 步:在 Isaac Sim 中部署重建的场景,并添加机器人模型

    具体步骤包括:启动支持 NuRec/3DGUT 功能的 Isaac Sim 5.0 或更高版本、导入 USD 场景、为物理效果添加地平面、从 Isaac Sim 资源库中插入机器人模型,最后点击播放即可查看仿真效果。