跳到正文

Isaac Lab 集成 ​

物理任务统一使用 Isaac Lab,单臂原生遥操共享同一场景和生命周期。安装与检查见命令入口,已经取得的成功、失败及未覆盖项集中在当前状态。

上游与项目职责 ​

Isaac Lab 管理资产、场景、动作、传感器、物理步进与重置。项目通过公开扩展点适配归档模型、厂家限位、任务判据和记录,不另建通用仿真框架。IsaacLabSession 提供物理状态;runtime 持有执行、策略、独立任务评估及归档,具体后端在入口装配。

相机由 RecorderManager 的 CameraRig term 在 post-step / post-reset 采集。项目保留独立噪声种子、采集/送达时钟、延迟队列和有效性判据;重置先封存 episode,再重建标定并清除未送达旧帧。图像与深度、数值轨迹和任务测量使用官方 RRD,配置及最终结果使用 JSON。逐步记录通过有界单写入线程落盘;队列耗尽明确失败,不丢弃必需证据。

求解器与运行时 ​

  • PhysX:保留 CPU 基础物理、抓放、RTX 视觉与原生单臂遥操基线。
  • Newton/Steel:CUDA 基础物理和原生单臂遥操主路径;单个会话仅选择一个求解器。
  • MuJoCo:保留 CPU/GPU 配置与专属检查,不作为 Steel 验收依据。

Lab wheel、匹配 Newton、原生 Isaac Sim 与补丁由 backends/isaaclab/upstream.json、独立锁文件、backends/isaac/runtime.json 和原生配方(backends/isaaclab/native/README.md)固定。原生遥操使用 Sim bundled Python 与 Kit 环境;Steel 普通任务和 MuJoCo 使用官方无 Kit 路径。Kit 的 Newton 导入严格限定到 Lab 配套版本,避免与 Sim 内置模块混用;不修改 site-packages。

PhysX/Steel 遥操使用同一物理世界的原生 ros2_control,控制器独占位置/速度目标,Lab articulation 只提交受限重力前馈。MuJoCo 保留 topic hardware 路径。具体生命周期、时钟及验收门槛见原生遥操。工控机实机控制无需部署 GPU 运行时。

模型与物理 ​

模型准备阶段统一生成带哈希、相对资源路径的 model/isaac/。GLB→STL 与材质转换只在 pride_models.isaac_assets 实现,Lab 使用官方 URDF converter 生成 USD。显示、FK、碰撞与回放使用同一归档模型;Lab xyzw 与项目 wxyz 显式转换。

加载时核对关节顺序、厂家位置/速度/力矩限位、摩擦、质量、COM、惯量、碰撞材质、接触偏移与 FK。SRDF 排除对映射为 FilteredPairsAPI,TCP/指尖由 FrameTransformer 跟踪;固定场景与动态耗材分别处理。

PhysX 逐步读取成对冲量与分离距离。Steel 使用官方接触传感器的 CONTACT_F,按 solver dt 换算世界系冲量,保存碰撞输入位姿并检查容量与约束溢出;只支持单子步,避免把末子步观测当作整步证据。解析动量/支撑通过不代表抓放通过;当前 Steel 抓放触桌失败仍保留。

名义重力前馈先占用厂家力矩额度,位置驱动使用剩余额度;不提高总力矩或增益来掩盖误差。单 world CPU PhysX 使用上游同步线程配置。独立 ROS mock 轨迹重放与真实 ROS–物理闭环分别验证,名义参数不等于实机辨识。

视觉与运动策略 ​

物体定位只使用 RGB-D,腕部状态来自机器人自身。相机保留 OpenCV pinhole 内参,更新外参并关闭时间抗锯齿;独立审计将归档关节位姿与安装变换组合后对照每帧外参和双时钟。

控制 IK 在既定预算内选择最近分支,静态布局求解保持自己的接受策略。视觉放置用当前 RGB-D 与腕部状态修正端点,并通过同一 MPLib/Ruckig 管线生成剩余 lower/release/retreat 段;修正受距离、观测新鲜度、阶段最短时长及总预算约束,不读取真实物体 pose 生成命令。

释放轨迹从实测手指关节开始,目标保持厂家范围。Ruckig 首尾样本恢复为精确输入端点,避免浮点舍入越限;速度、加速度和 jerk 检查保持生效。以上局部规划不等于通用无碰撞路径规划。

验证边界 ​

准备完成、物理有效、任务成功、记录完整性与浏览器操作分别取证。profile 前提及范围见验证指南,原始结果由状态页索引。单次成功不是成功率;仿真、安装烟测与模型一致性不证明实机精度或 sim-to-real 改善。