主题
运行视觉任务
视觉任务使用仿真 RGB-D 图像估计方块位置,再执行抓放。本篇覆盖已有的视觉抓放和双臂观察任务,不涉及连接真实 RealSense。
准备
完成基础安装、Isaac Lab 环境,并准备能运行 RTX 相机渲染的 GPU 与驱动。使用默认双臂模型;单臂配置会拒绝双臂专用抓放和相机任务。
选择一种任务
视觉抓放:
sh
uv run pride evaluate --task tasks/visual_pick_place.yaml双臂观察:
sh
uv run pride evaluate --task tasks/visual_dual_arm.yaml两条命令分别启动任务,不需要先在网页编辑目标。先运行一种并等它归档,再根据需要运行另一种。任务配置决定步数、时限和观测预算。
双臂任务由左手持物,右臂接近观察并撤退;它不是双手交接。估计器面向已知橙色方块,不是通用物体识别。
查看结果
运行后记录终端输出的 run 路径,检查物理有效性与任务结果,再导出回放:
sh
uv run pride rerun runs/<run-id> --open将占位路径替换为本次真实目录。Rerun 中检查彩色图、深度、观测事件和机械臂动作。看见一张图不等于控制器当时可以使用它:图像采集时间和送达时间不同,过期观测会被拒绝。
失败时先看什么
先读结果中的失败原因,再看相应时间段的观测和任务事件。全部观测无效或过期时,任务会在需要视觉决策的阶段停止,不会用物体真值继续规划。