跳到正文

运行视觉任务 ​

视觉任务使用仿真 RGB-D 图像估计方块位置,再执行抓放。本篇覆盖已有的视觉抓放和双臂观察任务,不涉及连接真实 RealSense。

准备 ​

完成基础安装、Isaac Lab 环境,并准备能运行 RTX 相机渲染的 GPU 与驱动。使用默认双臂模型;单臂配置会拒绝双臂专用抓放和相机任务。

选择一种任务 ​

视觉抓放:

sh
uv run pride evaluate --task tasks/visual_pick_place.yaml

双臂观察:

sh
uv run pride evaluate --task tasks/visual_dual_arm.yaml

两条命令分别启动任务,不需要先在网页编辑目标。先运行一种并等它归档,再根据需要运行另一种。任务配置决定步数、时限和观测预算。

双臂任务由左手持物,右臂接近观察并撤退;它不是双手交接。估计器面向已知橙色方块,不是通用物体识别。

查看结果 ​

运行后记录终端输出的 run 路径,检查物理有效性与任务结果,再导出回放:

sh
uv run pride rerun runs/<run-id> --open

将占位路径替换为本次真实目录。Rerun 中检查彩色图、深度、观测事件和机械臂动作。看见一张图不等于控制器当时可以使用它:图像采集时间和送达时间不同,过期观测会被拒绝。

失败时先看什么 ​

先读结果中的失败原因,再看相应时间段的观测和任务事件。全部观测无效或过期时,任务会在需要视觉决策的阶段停止,不会用物体真值继续规划。

图像、深度、内外参和采集/送达时钟随 run 保存。参数假设、数据格式及失效规则见相机参考,历史验收范围见项目状态。