跳到正文

单臂 Isaac Lab 双引擎遥操 ​

原生遥操与 Lab 共用模型准备阶段生成的 model/isaac/model.urdf、STL 和转换清单;原始归档 URDF/GLB 保留,派生资源采用相对路径并纳入模型哈希。转换实现仅在 pride_models.isaac_assets,运行时不再各自转换 GLB。单臂遥操和 Lab 参考重放通过 pride_core.isaac.teleop_physics 读取单臂保持任务及其物理配置,统一步长、控制频率、增益、力矩缩放和求解迭代数来源;名义重力前馈是显式的遥操/重放覆盖项。

PhysX 遥操路径 ​

遥操物理执行位于 pride_isaaclab.teleop,复用 IsaacLabSession、官方 URDF converter、ManagerBasedEnv.step/reset_to 和同一场景配置。使用 Lab TGS、显式材质与接触偏移,物理、控制、重置与实时性仍按原门槛验收,不要求不同求解器的轨迹逐点相等。

原生 ros2_control 独占位置和速度目标。锁定 Lab 的 articulation 即使没有 ActionTerm 仍会提交目标缓冲,因此通过官方 ArticulationCfg.class_type 配置 RosArticulation,在公开 write_data_to_sim 扩展点仅提交受限重力前馈。普通动态任务继续使用原生 Lab articulation 与 JointPositionAction。PhysX 场景同时移除导入器遗留的 Newton 派生根 schema,避免原生控制器把同一个固定基座识别成两个 articulation root;不修改上游或安装目录。

范围是 aubo_is7_bare 的六轴单臂,复用归档 URDF、厂家惯量和 CAD 安装关系。入口见命令入口。动力学采用名义参数,不代表已经完成实机系统辨识或硬件标定。

网页按键先经服务进程内的键盘转换函数(见 ROS 2 集成),再经过控制权与单调时钟 watchdog、MoveIt Servo,再到 Isaac 进程内的 joint_trajectory_controller 和 PhysX force drive。没有外部 ros2_control_node;直接状态写入仅用于初始化、显式 Reset 和独立模型校验。

力驱动使用 1200 N·m/rad 刚度和 80 N·m·s/rad 阻尼。每个物理步使用 PhysX 计算名义重力补偿,并为该补偿预留力矩预算,保证补偿与 drive 的合力矩不超过厂家限值。重力保持开启;这组增益不是厂家控制柜辨识结果。归档 GLB 视觉网格转换为导入器支持的 STL,保留几何并从原始颜色生成材质;转换产物归档,可见三角形总数必须与原始模型一致。

遥操通过显式 isaaclab uv 环境启动,使用原生 Isaac bundled Python 创建的 venv 与 bundled ROS 库,宿主 ROS 进程使用 Jazzy 和仓库 overlay,避免混合 C++ ABI。版本与来源在 backends/isaac/runtime.json,每个 run 记录原生扩展哈希及 Lab 本地依赖闭包。该目录仅保留运行时清单,物理实现位于 Lab 包。仿真不连接 AUBO 地址,不加载 AUBO 硬件插件;mock、aubo 不要求安装 Isaac。

原生扩展 0.1.6 要求物理硬件接口在创建 manager 时 active。因此仿真的“启用遥操”控制轨迹控制器的生命周期:控制器默认 inactive,启用后仍需获取控制权。PhysX 和状态广播器持续工作。实体 AUBO 和 mock 保持原有硬件组件生命周期。

每次启用仿真遥操前,先调用 Servo 的暂停/恢复接口,以当前反馈重置平滑器并清除历史轨迹,确认新目标与物理姿态一致后才激活控制器。此接口行为已核对 MoveIt Servo 2.12.4 的官方实现。否则场景 Reset 后,即使时钟单调也可能恢复旧姿态目标。

暂停、停止和超过 200 ms 的宿主执行中断会销毁控制器、撤销控制权并清除旧目标。恢复时创建 inactive 控制器;Reset 后重新初始化参考姿态。原生时间轴 Stop 和 pride Reset 均会失效 backend views,恢复时先由 Lab sim.reset() 重建,再 reset_to() 和 hold;单纯 Pause 保留视图与当前姿态。ROS /clock 从 Lab 已完成的物理步数乘以步长生成,在会话内保持单调,暂停期间不推进,避免 MoveIt Servo 的历史轨迹因时间回跳失效;场景时间与 epoch 单独保存。watchdog 使用 steady clock,不依赖 /clock。ROS 反馈必须与独立 PhysX 读数一致,物理步也必须持续更新,缓存状态不能维持就绪。

控制器由会话按 articulation 路径持有,并在 Lab 场景关闭前逐个释放。纯模型和动力学校验不启用 ROS 扩展;不在物理场景销毁后调用全局 teardown_all(),该顺序在当前原生运行时会卡住退出。

GUI 窗口操作或渲染卡顿超过 200 ms 时撤权并要求重新启用。Pause/Play/Reset 先排队,通过 env.render_enabled=False 将 Kit 事件处理放到完整物理步及状态读取之后;事件后重新检查时间轴,避免 Stop 在 scene.update() 中途失效视图。网页操作与 Isaac 桌面 GUI 分别验收。

已有证据统一见当前状态。完整闭环检查输出 artifacts/isaac-acceptance/smoke.json,正常退出不能代替以下门槛:

项目门槛
模型7 个实体连杆质量/质心/惯量、6 个关节限位/力矩上限;4 组归档 FK,误差 ≤ 10 μm、0.0001 rad
积分收敛相同平滑参考和 100 Hz 控制,2 ms/1 ms 步长差 ≤ 0.1°、TCP ≤ 1 mm
解析动力学转子加速度、受限 drive、加倍惯量、自由落体误差 ≤ 1%;关节限位误差 ≤ 1 mrad
接触方块落地后高度误差 ≤ 1 mm、速度范数 < 0.01;不等同于抓取验收
控制显式启用、控制权、物理关节移动、输入超时、旧 lease 拒绝、停止复位
生命周期10 次暂停/真实停止后的重建、启用、实际点动和停用;恢复后无控制权、控制器 inactive;Play/启用的非指令位移 < 1 mrad;事件泵内 Stop 的三种 Play 恢复路径与产物写入失败清理
故障PhysX 心跳丢失而 JointState 仍新鲜、进程 SIGSTOP/SIGCONT、暂停期间启用拒绝;失效后撤销控制权
时间与性能2 ms 物理步、原生控制 100 Hz;预热后连续 60 秒,每个 10 秒窗口实时系数 ≥ 0.95,无传感器渲染
GUI实际操作并核对暂停、Play、Reset、姿态与状态;工作台已实操,Isaac 桌面窗口未覆盖,具体输入与视觉边界见状态页

isaac/stepping.json 与原生 profiling 对照 Lab 物理步和原生回调数,拒绝额外推进。真实 Stop 后锁定 Lab 的 backend reset 会执行两次物理 warmup,再恢复归档状态;这两次不计入 episode 时钟,作为 initialization_physics_callbacks 单独记录。检查要求每次重建恰好两次 warmup,其余回调数严格等于 Lab 步数。场景初始化后关闭 Kit 的 playSimulations 自动推进,保留事件更新;会话动力学由 ManagerBasedEnv.step() 推进。adapter_manifest.json 保存模型导入检查及目标写入方。

physics.rrd 保存 PhysX 状态、重力补偿、物理步、host monotonic 时间和 epoch;events.rrd、RRD 保存输入、ROS 反馈和完整轨迹目标。离线使用 Rerun 的 host 时间轴,模拟时间另列。模型、生成 USD、日志和记录在最终 manifest 中带哈希。

交互遥操没有预设任务目标,task_success 为 null。解析试验不证明实体机械臂的跟踪性能、控制柜切换或现场运动安全。

Newton 遥操路径 ​

启动时使用 configs/physics/aubo_is7_newton.yaml 选择 Newton 1.9.0.dev0 / Steel CUDA 求解器。它沿用相同六轴模型、2 ms 物理步、100 Hz ROS 控制、名义 PD 与重力前馈、控制权和工作台协议。Steel 明确启用受限 row drive、位置/速度约束、run-to-run 确定性及接触容量检查;当前所选 row drive 需要 CUDA,配置阶段拒绝 CPU。

当前开放 Kit 无桌面运行与网页工作台,继续拒绝 Newton 的 --gui。原生桌面求解器面板尚未适配宿主提供的 external 世界;物理接入原生接口不等于全部 Sim 桌面功能已受支持。

Steel 与 PhysX 均使用 Isaac Sim 进程内的原生 ros2_control、标准 joint_trajectory_controller 和原生 tensor 接口。NativeNewtonManager 通过 Lab 的 NewtonCfg.class_type 接入;LabNewtonStage 将 Sim 的 model/state/control/solver 指向 Lab 的同一对象。每步原生控制回调写入关节位置/速度目标,Lab 推进一次 Steel,再由原生接口读取实际关节位置/速度。RosNewtonArticulation 通过官方资产扩展点仅写受限重力前馈,不覆盖控制器目标。这里的输入是位置/速度目标、前馈力矩和模型物理参数,输出是实际状态与接触信息;渲染消费物理结果,不负责求解。

原生 Steel 的 Stop 与 PhysX 一样失效视图,恢复时重建 Lab backend,并重新绑定 Sim 原生视图;Pause 保留世界。每代控制器从 inactive 启动,暂停、Reset、宿主中断后的恢复均要求重新启用。控制器加载/切换请求依赖下一次物理更新完成,因此会在处理 Kit 暂停事件或关闭 manager 前收尾已发出的 bootstrap 请求;期间仍通过同一个 Lab step 推进并发布时钟,全部计入步数。若服务回复丢失,仅凭对应生命周期发布状态继续,不盲目重放请求。控制权 watchdog 仍要求物理心跳和 ROS 反馈同时新鲜。

版本冲突来自 Kit 的 fast importer 将 Sim 内置 Newton 1.6.1 子模块混入 Lab 的 1.9.0.dev0。启动先让 Kit 选择 USD ABI,再仅为 newton 注册严格导入路径;已有错误来源或缺失模块均拒绝启动。Sim 6.2 的扩展没有公开 stage factory 配置,因此使用版本化最小补丁(backends/isaaclab/native/README.md)增加该入口,构建到 artifacts 并校验输入/输出哈希;原始安装保持不变。Steel 求解、模型导入、接触和 reset 仍由锁定的官方 Lab/Newton 实现。

newton-teleop 检查覆盖实际 CUDA 模型/状态与 SolverSteel、Newton 模块来源、原生共享对象、模型、积分收敛、ROS 闭环、暂停/Reset 重建、Kit 事件泵、故障撤权、回调计数、实时性和归档,产物位于 artifacts/steel-teleop-acceptance/。Steel 重建没有 PhysX 的两次 warmup,要求原生回调数严格等于 Lab 步数。原生接触兼容层把 Newton 1.9 的 CONTACT_F 暴露给 Sim 旧接口,通过落体动量与静态支撑夹具检验。此夹具不证明抓放成功;相机、桌面 GUI、批量训练、实机轨迹对照也需各自验收。双引擎接通本身不证明 sim-to-real gap 变小。

遥操每步检查 Steel 容量并保存原始碰撞输入位姿;任务接触报告在读取时派生,重力遥测读取本步实际提交力矩。

MuJoCo CPU/GPU 配置及检查仍保留,使用 topic hardware 路径;不能用其结果替代原生 Steel 验收。

Isaac 单臂物理遥操 ​

前提是上述 ROS 构建、工作台构建、Isaac Lab 环境,以及 backends/isaac/runtime.json 指定的 Isaac Sim 6.2 ARM64 安装。安装路径可通过 PRIDE_ISAAC_ROOT 指定,进程通过 Lab uv 环境使用原生 bundled Python 和 ROS 动态库。

sh
uv run pride hardware teleop --device isaac --prepare-only
uv run pride hardware teleop --device isaac --gui --port 8098
uv run pride check isaac --timeout 360
# Newton / Steel CUDA 路径;GPU 机器运行仿真,通过同一网页遥操
uv run pride hardware teleop --device isaac --physics configs/physics/aubo_is7_newton.yaml --open
uv run pride check newton-teleop --timeout 360
uv run pride rerun runs/<completed-isaac-teleop-run>

省略 --gui 为无界面物理仿真。网页明确显示 Isaac 仿真,先启用遥操、再获取控制权;Isaac 中暂停或 Reset 后需要重新启用。单次会话最多 30 分钟,Ctrl+C 结束并归档。验收、时钟与生命周期边界见 Isaac 集成。

Newton 主配置选择 Steel,要求 CUDA;无 GPU 的工控机继续使用 mock / aubo 控制链路,无需安装仿真后端。MuJoCo 暂缓推进,已有 CPU 配置保留为 configs/physics/aubo_is7_mujoco_cpu.yaml,GPU 配置及 mjwarp 检查保留为实验入口;它们不是当前 Newton 主路径。