机械臂四合一：视觉感知、闭环纠偏与柔顺抓取

把 135 柔顺力控、138 仿真实验平台、160 RGB-D 视觉抓取和 163 残差强化学习闭环四个已完成项目，聚合成一条“感知—定位—纠偏—接触控制”技术链，统一呈现 PyBullet 中 Panda/UR5 机械臂的智能抓取研究体系。

• 任务类型机器人智能抓取
• 难度进阶
• 周期建议 6–10 周分模块理解与扩展
• 专业方向自动化 · 机器人工程 · 人工智能 · 计算机视觉 · 电子信息

项目亮点

• 135、138、160、163 四个已完成项目聚合
• 视觉感知—三维定位—闭环纠偏—柔顺接触完整技术链
• Panda/UR5、RGB-D、PBVS/SAC 与 RLS 力控协同讲解
• 四套代码、技术文档、实验结果与答辩配图

数据与任务

如果你想做一个不只停留在“识别到物体”，而是能够继续回答“机械臂怎么靠近、怎样根据新画面纠偏、接触后如何控制力度”的机器人项目，这个“机械臂四合一”会很适合。它把四个已经完成的机械臂项目按真实控制链重新组织，让视觉、决策、执行与力控不再是互不相干的算法名。

当前合并状态：135 + 138 + 160 + 163。 四套项目分别保留自己的代码、技术文档、实验结果和讲解配图；在网站中以一个大型研究体系统一呈现，便于按模块学习，也便于在简历、面试和答辩中讲成一条完整技术路线。

先说清楚，机械臂四合一到底合并了什么

四个项目并不是简单放在同一个列表里，而是分别补齐抓取系统的一层能力：

搞懂它，你能在面试里讲清楚什么

第一，视觉预测怎样真正驱动机械臂。 仿真相机先输出 RGB-D，YOLO11n 找到目标框，GR-ConvNet 或 GG-CNN2 在局部区域预测抓取质量、角度和夹爪宽度；深度反投影再把像素坐标变成三维控制位姿。这样可以明确回答“视觉模块是不是装饰”：控制输入来自视觉预测，仿真真值只承担监督标签与独立评价。

第二，为什么有了视觉定位还需要闭环纠偏。 单帧预测给出的是当前时刻的抓取目标，手眼标定偏差、传感噪声和执行误差仍会累积。163 项目用 PBVS 提供稳定可用的基线动作，再让 SAC 只学习一个受限幅度的小残差，既保留经典控制器的可解释性，又把学习能力集中在误差修正上。

第三，抓住物体以后怎样避免夹坏或滑落。 135 项目进一步处理接触阶段：六维力/力矩信号经过重力补偿与滤波，RLS 在线估计环境刚度，自适应阻尼根据估计结果调整控制参数，力—位混合控制分别约束末端位置与接触力。这样“抓到”与“抓稳、抓得安全”被放进同一条故事线。

实验结果应该怎样组合解读

四合一页面保留各子项目自己的评价协议，不把不同实验强行拼成一个“总成功率”：

• 视觉感知与执行：160 的正式同域数据为训练 3000、验证 500、测试 500；YOLO11n 的 mAP@0.5 为 99.50%，mAP@0.5:0.95 为 98.29%。同一批 180 个执行场景中，GR-ConvNet 成功 163 次（90.56%），GG-CNN2 成功 170 次（94.44%）。
• 闭环纠偏：163 在中噪声、每组 50 个 episode 的协议下，将 PBVS 基线成功率由 74% 提升至 90%；同等训练预算下，纯强化学习为 2%，说明残差学习更适合把能力集中在基线误差修正上。
• 柔顺接触：135 的当前原始结果中，刚性物体力跟踪 RMSE 为 0.24 N，PD 基线为 1.41 N；在 225 次质量与噪声扰动扫描中保持 225/225 成功。
• 平台能力：138 提供 9 组预设实验配置，支持 OpenCV 深度图、HSV 颜色分割和 VLM 三类定位方案，以及抓取、搬运、堆叠、运行记录和报告生成。

面试官会问的，都帮你串成了一条线

• YOLO11n、GR-ConvNet 和 GG-CNN2 分别输出什么，为什么两种抓取网络是可切换方案而不是前后串联？
• 深度反投影怎样把像素抓取点转成机械臂坐标，视觉输出具体在哪里进入控制器？
• PBVS 已经可以独立工作，为什么还要增加 SAC 残差策略，而不是直接训练端到端强化学习？
• RLS 刚度估计、自适应阻尼和力—位混合控制分别解决接触阶段的什么问题？

配套资料能够让这些问题从整体架构一路展开到源码细节。简历中可以把它写成一个由四个子模块组成的大项目，答辩时再根据面试官方向选择重点：计算机视觉侧重 160，机器人学习侧重 163，控制与自动化侧重 135，工程平台侧重 138。

配套资料

四个原项目的技术文档都保留在各自目录中，下面选取了最能代表技术路线的页面：

关键实现也能从四套代码中一一对应：

适合谁

适合自动化、机器人工程、人工智能、计算机视觉和电子信息方向，尤其适合希望把多个算法模块讲成完整机器人系统的同学。它既能作为简历中的大型综合项目，也能按视觉、强化学习、运动控制和力控四条路线继续深入；把“每个模块解决什么问题、输出怎样进入下一层、结果如何验证”真正讲明白，就是这套四合一项目最有价值的地方。