远程手术不再是未来的概念，它在医疗服务领域扮演着越来越重要的角色。到 2030 年，全球外科医生缺口将达 450 万人，偏远地区医院更是难以吸引专家。在此背景下，由专家通过远程方式开展手术的技术，正从实验性探索逐步成为必然趋势。其主要有以下三个变化：



1. 网络发展成熟：5G 和低延迟主干网络使跨洲的实时视频协作成为可能



2. AI 和仿真技术成熟：外科医生现在可以在高度逼真的虚拟环境中训练和验证系统，然后再进入手术室



3. 标准化平台已经就绪：开发者无需再为传感器、视频和机器人技术整合定制化流程，而是可以基于共享基础设施进行开发，从而加速研发进程。



同时，远程手术也面临以下主要技术挑战：



1. 手术精度要求超低延迟视频

2. 可靠的具有触觉反馈的远程机器人控制

3. 多样化解决方案的无缝硬件集成



这正是 NVIDIA Isaac for Healthcare 的价值所在。它为开发者提供了一套可直接用于开发的模块化远程手术工作流，涵盖视频与传感器流传输、机器人控制、触觉反馈及仿真功能。开发者可对其进行适配、扩展，并部署于培训与临床两种场景。



在本文中，将介绍远程手术工作流的运行原理、入门方法，以及为何它是构建新一代手术机器人最快捷的方式。



什么是 NVIDIA Isaac for Healthcare？



NVIDIA Isaac for Healthcare 将功能强大的三台计算机（NVIDIA DGX、NVIDIA OVX、NVIDIA IGX 或 NVIDIA AGX）引入医疗健康机器人领域，并整合了完整的开发技术栈。它提供了一整套工具和基础构建模块，包括：



端到端样本工作流（手术和影像）

高保真医疗传感器仿真

仿真可用资产目录（机器人、工具、解剖结构）

预训练 AI 模型和策略基线

合成数据生成工作流



基于此架构，可以从仿真直接无缝衔接到临床部署，而无需更换基础设施。



远程手术工作流的原理



远程手术工作流通过高速网络将外科医生的控制站与患者侧的手术机器人连接起来。



外科医生侧：通过多路摄像头（整体视角和机器人视角）观察手术，并通过 Xbox 或触觉反馈控制器下达命令。



患者侧：摄像头捕获手术现场，机器人根据外科医生的指令执行精确操作。



仿真模式：在 NVIDIA Isaac Sim 中复刻相同设置，可实现安全的训练和技能迁移。



临床医生能够在危机情况下、偏远地区的医院中或跨洲进行手术，且不会影响响应速度。



图 1. 远程手术工作流程图



系统架构






接下来，我们将深入探寻具体细节，了解该解决方案背后的架构。



1

GPUDirect 传感器 IO：

系统使用 NVIDIA Holoscan Sensor Bridge（HSB）将视频直接传输到 GPU，实现实时处理。HSB 基于 FPGA 的接口，通过以太网连接高速传感器，实现低延迟数据传输。这简化了边缘 AI 医疗应用中传感器和执行器的集成。



2

视频流传输：

系统同时捕捉两路摄像头画面：房间整体和详细的机器人视角。视频编码使用 NVIDIA 硬件加速，以保证画质并最小化延迟。可以在 H.264（兼容性佳）或 NVJPEG（延迟最低）之间进行选择。



多摄像头支持：

可同时采集来自安装在机器人上的摄像头和房间概览摄像头（兼容 RealSense 或 CV2）的视频



硬件加速编码：

NVIDIA Video Codec（NVC）支持 H.264 或 H.265，适合带宽受限场景

NVJPEG 编码：超低延迟选项，质量可调节（1-100）



3

通信层：

RTI Connect 数据分布式服务（DDS）负责站点间的所有数据传输，确保医疗级可靠性、低延迟和数据完整性。视频流、控制命令和机器人反馈在不同的通道上传输，每个通道都通过服务质量控制进行优化，以满足其特定需求。



RTI Connect DDS 基础设施：

安全的医疗级可靠性，消息传输有保证



域隔离：

用于视频流、控制命令和遥测数据各自独立 DDS 域



时间同步：

可选的网络时间协议（NTP）服务器集成，确保在所有系统中实现完美的时间对齐



网络优化：

根据手术需求定制的自动节点发现和服务质量配置文件



4

控制界面：

外科医生可以使用 Xbox 控制器进行基本操作，或使用 Haply Inverse3 设备在 3D 空间中直观控制机器人。控制系统与患者侧机器人协同工作，将外科医生的指令转化为精确的机器人动作。



双控制模式:

Cartesian 模式：直接进行 X-Y-Z 定位，实现直观控制

Polar 模式：关节空间控制，适合复杂动作



输入设备:

Xbox 控制器：双摇杆同时控制两只 MIRA 手臂

Haply Inverse 3：强制反馈高达 3.3N，可真实模拟组织交互



安全功能：

自动姿态重置、工具追踪序列和可配置盲区。




图 2. 远程手术系统架构图



术前验证：延迟基准



低延迟对于远程手术至关重要，以下基准测试结果表明，该工作流符合临床要求。



配备 IMX274 摄像头的 HSB

使用 NVIDIA HSB board 和 IMX274 MIPI 摄像头，实现超低延迟工作流。


采用 YUAN HSB board 的 HDMI 摄像头

现有医疗机构通常配备具有 HDMI 或 SDI 输出的摄像头。在这种情况下，YUAN HSB board 是很好的解决方案。它可以从 HDMI 或 SDI 中拍摄视频，并将数据直接传输到 GPU。此基准测试中使用的 HDMI 摄像头是富士 X-T4 摄像头。



显示器基准测试采用支持 G-Sync 的显示器，以 240Hz 刷新率在 Vulkan 独占全屏模式下进行。延迟测量数据由 NVIDIA 延迟和显示分析工具（LDAT）捕获。



配备 IMX274 摄像头的 HSB



1080p@60fps（H.264，码率为 10 Mbps）

光子到屏幕延迟：35.2+/-4.77 毫秒

编码和解码：10.58+/-0.64 毫秒



4k@60fps（H.265，码率为 30 Mbps)

光子到屏幕延迟：44.2+/-4.38 毫秒

编码和解码：14.99+/-0.69 毫秒



可通过生态系统中的 FPGA 合作伙伴 Lattice 和 Microchip 购买 Holoscan Sensor Bridge。



需要强调的是，两种设置均实现了约 50 毫秒的延迟，速度足够快，能够支持安全的远程操作。



部署灵活性



由于该工作流采用容器化技术，因此可在不同环境中保持一致运行：



实际的手术室：连接真实的摄像头和机器人进行真实的手术。



即插即用地集成现有的手术基础设施

支持多种摄像头类型：Intel RealSense、标准 USB 摄像头、带 HSB board 的 MIPI 摄像头以及带 YUAN HSB board 的 HDMI 或 SDI 摄像头

可用游戏控制器或 Haply Inverse3 设备直接控制 MIRA 机器人

通过隔离远程操作者，实现与现场的无菌操作。



仿真环境：使用 NVIDIA Isaac Sim 进行训练，而不会给患者带来风险。



NVIDIA Isaac Sim 集成可提供逼真的手术场景

通过准确的物理和组织建模，实现无风险训练

技能评估工具可跟踪精度、速度和技术

现场录制和回放，可用于复盘与改进



两种部署模式采用相同的控制方案和网络协议，确保在仿真环境中开发的技能可直接迁移至实际应用。平台的模块化设计使机构能够从基于仿真的训练起步，并在准备就绪后无缝迁移到现场手术。



临床影响



早期试点部署已显示出积极的成效：



急诊手术患者转诊时间减少了 50%

偏远地区获得专业手术护理的机会增加了 3 倍

通过仿真训练，手术培训效率提高 40%

超过 1,000 例手术中，无因设备延迟引发的并发症。



构建下一代外科手术



远程手术并非仅是一套工作流，更是构建医疗新模式的基石；它也不仅关乎架构设计，而是通过工程技术手段，为解决全球医疗领域各类缺口提供的解决方案。



无论身处何地，专家可为患者进行手术

受训者在接触患者之前可先在仿真环境进行练习

医院可扩展稀缺的专科资源，而无需进行高成本转诊



借助为开发者打造的、可连接仿真环境与手术室的可靠低延迟工作流，NVIDIA Isaac for Healthcare 让这一切成为可能。



构建远程手术工作流程



git clone https://github.com/isaac-for-healthcare/i4h-workflows.git
cd i4h-workflows
workflows/telesurgery/docker/real.sh build


之后，可以连接摄像头，配置 DDS，并开始尝试机器人控制。



即刻开始开发工作。您可以复刻代码仓库、尝试适配新的控制设备、集成新成像系统或自行测试延迟基准。每一份贡献，都在推动远程手术离日常应用更近一步。



文档与代码



Isaac for Healthcare 相关文档：

https://isaac-for-healthcare.github.io/i4h-docs/



Isaac for Healthcare 工作流 – 示例工作流和应用：

https://github.com/isaac-for-healthcare/i4h-workflows



Isaac for Healthcare传感器仿真 – 基于物理传感器：

https://github.com/isaac-for-healthcare/i4h-sensor-simulation



Isaac for Healthcare 资产目录 – 医疗资产：

https://github.com/isaac-for-healthcare/i4h-asset-catalog



相关项目



Isaac Sim – 机器人仿真平台：

https://github.com/isaac-sim



Holoscan SDK – 边缘 AI 平台：

https://github.com/nvidia-holoscan



MONAI – 医学影像 AI：

https://github.com/Project-MONAI



社区



Omniverse Discord – 加入 #isaac-for-healthcare 频道：

https://discord.gg/nvidiaomniverse



GitHub Issues – 提交错误报告和功能请求：

https://github.com/isaac-for-healthcare