Shanghai ZENTEK Co., Ltd. ZENTEK 信弘,智能,信弘智能科技 Elite Partner,Omniverse,智能科技 NVIDIA GPU,NVIDIA vGPU,TESLA,QUADRO,AI, AI Training,AI Courses,Artificial Intelligence (AI),Solutions,DLI,Mellanox,InfiniBand (IB),Deep Learning, NVIDIA RTX,IT,RACLE Database,ORACLE Cloud Services,Deep Learning Institute, bigdata,Big Data, Data Security & Backup,鼎甲SCUTECH CORP,High-Performance Computing (HPC),Virtual Machines (VM), Virtual Desktop Infrastructure (VDI),Virtual Desktop Infrastructure (VDI),Hardware,Software, Accelerated Computing,High-Performance Computing (HPC),Supercomputing,Servers,Virtual Servers, IT Consulting,IT System Planning, Application Deployment,System Integration

ZENTEK News

仅使用智能手机在 NVIDIA Isaac Sim 中重建场景

构建用于机器人仿真的逼真 3D 环境,往往非常耗时且高度依赖人力。如今,借助 NVIDIA Omniverse NuRec,只需一部智能手机即可完成全流程操作。


这套简洁的实景仿真工作流,可将日常中手机拍摄的照片转化为可直接用于机器人的交互式场景。整个流程很简单:图像采集、COLMAP 处理、3DGUT 重建、USDZ 导出,最后加载至 NVIDIA Isaac Sim 中。该工作流用一种简单且可复现的数字孪生路径,取代了以往耗时的摄影测量流程,能够快速进行驱动、路径规划与测试。


本文将逐步介绍操作方法:从使用手机采集图像,到利用 3DGUT 进行 3D 场景重建,再到将重建的场景导入 NVIDIA Isaac Sim 并配置机器人。



  • 第 1 步:采集真实场景数据

    拍摄需要重建的真实环境的照片,无需任何特殊设备,只需围绕场景走动并使用手机进行拍摄即可。


  • 第 2 步:使用 COLMAP 生成稀疏重建

    当拍完照片后,下一步是从这些图像中计算出 3D 结构并确定摄像头的位置。COLMAP 将生成该场景的稀疏点云,并估算每张照片对应的摄像头参数。COLMAP 处理完成后,您将获得场景的稀疏点云数据以及所有图像的摄像头位置数据。


  • 第 3 步:使用 3DGUT 密集训练 3D 模型,并导出为 USD

    具体步骤包括:设置 3DGUT 环境、克隆 3DGUT 存储库、准备 COLMAP 输出、运行 3DGUT 训练脚本并导出 USDZ。运行命令后,3DGUT 将开始训练。它会读取图像和 COLMAP 数据,并持续优化 3D 表征。此过程耗时取决于场景的复杂程度和 GPU 性能。将重建的场景导出为 USD 格式后,即可在 Isaac Sim 中使用。


  • 第 4 步:在 Isaac Sim 中部署重建的场景,并添加机器人模型

    具体步骤包括:启动支持 NuRec/3DGUT 功能的 Isaac Sim 5.0 或更高版本、导入 USD 场景、为物理效果添加地平面、从 Isaac Sim 资源库中插入机器人模型,最后点击播放即可查看仿真效果。