主题
相机型号、标称内参与 Isaac Sim 视角
要运行已有视觉抓放任务,先读视觉任务指南。本文供查阅相机参数、坐标与观测边界。
动态相机记录可通过根 CLI 的离线导出操作生成 Rerun .rrd, 同步分析固定/腕部 RGB-D、采集外参和控制事件;安装及采集/交付双时间轴说明见 Rerun 离线诊断。
当前 CAD 包含两台固定 RealSense D435,以及左右腕部各一台 D405。组件名里的 v1、v2 是 CAD 模型名称的一部分,不是已经核实的相机硬件修订号。本配置使用标称参数,不包含具体序列号设备的工厂标定;连接设备后应单独读取并绑定实际 stream profile。
内参来源与假设
参数配置(designs/cameras.json) 采用 RealSense 2026 年 3 月 D400 系列数据手册,Table 3-49(第 65 页)的标称 FoV:
| 通道 | 输出尺寸 | 标称 FoV H×V | fx | fy | cx | cy |
|---|---|---|---|---|---|---|
| D435 RGB | 1920×1080 | 69°×42° | 1396.81 | 1406.75 | 959.5 | 539.5 |
| D435 深度 | 1280×720 | 87°×58° | 674.42 | 649.46 | 639.5 | 359.5 |
| D405 RGB/深度 | 1280×720 | 84°×58° | 710.79 | 649.46 | 639.5 | 359.5 |
表中焦距和主点均以像素为单位,按 fx=W/(2 tan(HFoV/2))、fy=H/(2 tan(VFoV/2)) 估算,主点设为 ((W−1)/2,(H−1)/2),畸变设为零。这些是 FoV 等效的理想针孔参数,不是检索到的工厂标定矩阵。独立的标称 H/V FoV 未必满足理想方形像素关系,因此在 Isaac 中使用 OpenCV pinhole schema 显式设置 fx/fy,不能由分辨率宽高比擅自重算另一个方向的 FoV。
D405 产品页 写 87°×58°,与数据手册 84°×58° 存在差异。内参假设以数据手册为依据;其深度 FoV 在 20 cm 处定义,双目重叠和无效边带随距离变化。这里没有用标称视角恢复真实原始成像器内参,也没有模拟这种随距离变化的双目重叠。
同一数据手册 Table 4-12(第 84 页)给出的 1280×720 模式最小深度距离是 D435 280 mm、D405 100 mm。D405 的 70 mm 对应 848×480 模式;不能把产品宣传的 7 cm 直接套到当前 720p 模式。输出的几何深度文件未据此伪装成传感器有效深度。
真实参数需要针对每台设备、每个实际 stream profile 通过 get_intrinsics() 读取。读取脚本是 export_realsense_intrinsics.py(scripts/export_realsense_intrinsics.py),需要已安装 pyrealsense2 并连接设备;操作见离线相机与硬件工具。
脚本按这里的分辨率选择 30 FPS 彩色和深度流,保留序列号、固件版本、畸变模型及系数、深度到彩色外参。具体设备与左右安装位置仍需要按序列号关联。参考:RealSense 投影与标定参数说明。
场景与光学位姿
- 保留机架、桌体、固定相机;使用现有统一 URDF 的机械臂、Wuji Hand 2 Beta 2 和随动腕部相机,移除已替换的旧夹爪与 CAD 机械臂叠图。
- 采用模型的限位内参考关节姿态;CAD 右肘超限导致右侧腕部位姿随限位修正。不是一段任务执行,也未证明运动或抓取可行。
- D435 从原始 CAD B-rep 的前面板镜头圆环提取光轴;D405 从前面板及上侧平面提取方向。光学中心使用 CAD 几何及官方名义尺寸近似,尚未经硬件测量。
- D435 深度坐标在左深度成像器,彩色成像器与其相距约 15 mm;D405 彩色来自左成像器,使用同一名义位姿。深度零点退距参考数据手册及 官方 ROS 模型。
- 坐标约定为 OpenCV 的右/下/前,写入 USD 时转换为右/上/后。近裁剪面 10 mm,避免理想相机被自身保护玻璃挡住;它不代表实机最小测距。
- 额外加入 100 mm 桌面网格和 10/30/50 mm 红/绿/蓝方块,供视觉尺度参考。它们不是原始 CAD 的零件。
- 材质采用按组着色的漫反射近似,使用 RTX、原生输出分辨率,不启用 DLSS 放大。没有宣称镜头 MTF、运动模糊、ISP、反光/透明材质或 RealSense 双目匹配已被复现。
复现
输出目录 runs/camera-inspection/:
pride_cameras.usdc:完整静态场景,可用 Isaac Sim 打开;相机在/World/Cameras/。scene.json:每个通道的 K、分辨率、光学位姿、来源与假设、参考关节、模型及源文件哈希。captures.json:实际捕获尺寸、深度范围和运行帧数。*_rgb.png:四台相机的彩色图;*_depth.png是深度相机视野的辅助彩色渲染。*_depth_depth_gt.png:深度视野的几何 Z 着色图;所有深度图统一使用 0.1–2.0 m 色标。*_depth_gt_m.npy:float32 光轴 Z 真值,单位米。不是 RealSense 输出,也不是有噪声的双目深度。metrics.json:25 mm 桌面采样点的视锥覆盖与遮挡检查。用像素深度与采样点光轴 Z 对比,15 mm 容差;含额外参考物,不是精确面积积分、操作空间覆盖率或传感器有效深度率。report.html:包含图片的独立报告,支持切换彩色/几何深度视图。validation.json:独立 CPU 投影与实际渲染的参考方块颜色/尺寸验证,以及脚本和配置哈希。
场景仅代表当前参考姿态;腕部相机覆盖会随手臂和手指姿态变化。几何真值渲染可以检查方向、覆盖与遮挡,不能直接给出真实识别成功率或毫米级测量精度。
静态参考姿态的渲染数字与观察见仿真与任务状态。
动态 RGB-D 闭环与双臂协作
动态执行使用 Isaac Lab 的 Camera / IsaacRtxRenderer,在实际物理场景中生成三路 RGB-D,不依赖上述静态快照。内参、随动外参和采集/送达时间已经独立核对,见 仿真验证状态。操作见相机任务。
通过命令入口执行相机任务,工作台中的任务提交与取消遵循业务协议。相机帧、采集/送达时间与估计结果随 run 归档;离线使用 Rerun 查看,未交付的未来图像不能提前显示。浏览器是否显示某项传感器数据,应以当前页面和相应验收证据为准。
观测与控制的边界
- 沿用
designs/cameras.json的 CAD 光学安装推定和标称内参;腕部相机挂在对应link6上。 数据包保留采集时的外参,延迟交付后不使用当前手腕位姿重新解释旧图像。 - 当前每台输出 640×360、对齐的理想 RGB-D,使用深度通道的 FoV;它不是 D435 原生彩色流与 原生深度流的配准实现。最小有效距离仍按源 720p 模式保守保留,没有宣称此缩放分辨率就是硬件 stream profile。
- RGB 和光轴 Z 来自真实遮挡的场景渲染。深度加入 0.5 mm 标准差的独立高斯噪声和 2% 丢点, 10 Hz 采样,默认延迟 40 ms。可在任务
perception中修改;不是 RealSense 双目、材质失效或 ISP 模型。 - GB10 本机的默认直接光照曾产生非有限 lighting buffer,当前采用环境光和漫反射基准颜色。 几何和遮挡仍由渲染器计算;这一模式不用于评估真实相机的光度鲁棒性。
- 估计器只接收 RGB、深度、K、相机外参和已知方块尺寸。通过橙色区域、RGB-D 反投影与可见面估计位置, 不读取分割 ID、物体 link pose 或实际初始坐标。它是已知橙色、初始轴对齐方块的基准,尚不是通用物体识别或 6D 姿态估计。
- 控制先等待有效观测,按图像估计规划;到达预抓取位姿后再次用图像修正剩余目标。闭手、提起和保持 仍由实际接触与摩擦控制和验收。协作接近前再依据持物图像生成右腕目标。当前是阶段式视觉反馈, 尚未实现连续 6D 图像伺服,也不把有遮挡的像素补成物体真值。
- 默认实际初始位置较名义位置偏移
[10, -6, 0] mm;放置目标保持名义世界坐标不变。 最大视觉修正 30 mm,最大帧龄 300 ms。固定视角失效时可使用配置内有效的腕部视角;全部无效或过期时, 在需要视觉决策的阶段停止,不回退为物体真值规划。
双臂范围
visual_dual_arm.yaml 的左手完成抓取、提起、保持和搬运。右手根据视觉估计,在保持间隙下接近观察, 保持观察后撤退;之后左手释放、撤退并检查落点。全程保留双臂、手部与桌面的碰撞。 右手接触持物会使任务失败,不能暗中协助承重。此任务验证持物与观察的协作,不是双手交接、 双方共同夹持、工具接触或任意同步避障规划。
右臂的编码器位置反馈积分修正限制在 0.08 rad,增益 2.5/s;厂商力矩限制保持启用。 验收同时检查实际右腕目标误差、右手指尖到持物的距离、右臂退回,以及左手持续夹持、滑移和最终放置。 接近目标来自相机,关节反馈用于补偿模型下垂;物体真值仅用于安全检查与任务验收。
记录与验证
observations/ 保存逐帧 RRD(RGB uint8、深度 float32、K 和采集时外参)、calibration.json 和 frames.rrd。数据包区分 capture/delivery 时间。visual_plans.rrd 保留各次视觉规划快照, task_plan.json 保存实际使用的最终计划,task_events.rrd 保存视觉决策、阶段和协作误差。 这些数据全部纳入结果哈希,重置时随 episode 归档。
当前完整视觉抓放、双臂观察、工作台执行、相机标定/时钟及遮黑/过期帧拒绝的结果见 Isaac Lab 验收。这是指定模型和布局的仿真验收,不是随机场景成功率或真实 RealSense 精度验证;浏览器显示另行验收。
RGB-D 的采集、噪声、估计和送达时序保持原语义;帧 RRD 与帧索引交给容量为 8 帧的单写入线程。帧数组拥有独立 CPU 存储,写入完成前不复用;每帧完成后 flush。后台错误或队列溢出终止当前运行,不能丢帧后声称完整。close/reset 必须等待旧帧写完,之后才能移动归档或创建下一 episode。
相机任务
sh
uv run pride view --task tasks/visual_dual_arm.yaml
uv run pride evaluate --task tasks/visual_pick_place.yaml输入假设与能力边界见 相机说明。