r Vision）的视觉有一些不同：机器视觉的意图是给机器人供给操作物体的信息。所以，机器视觉的研讨大约有这几块：

  1. 物体辨认（Object Recognition）：在图画中检测到物体类型等，这跟 CV 的研讨有很大一部分穿插；

  2. 位姿估量（Pose Estimation）：核算出物体在摄像机坐标系下的方位和姿势，关于机器人而言，需求抓取东西，不只需知道这是什么，也需求知道它详细在哪里；

  3. 相机标定（Camera Calibration）：因为上面做的仅仅核算了物体在相机坐标系下的坐标，咱们还需求确认相机跟机器人的相对方位和姿势，这样才能够将物姿转换到机器人位姿。

  当然，我这儿首要是在物体抓取范畴的机器视觉；SLAM 等其他范畴的就先不讲了。

  因为视觉是机器人感知的一块很重要内容，所以研讨也十分多了，我就我了解的一些，依照由简入繁的次序介绍吧：

  这其实归于比较老练的范畴。因为咱们一切物体辨认都仅仅核算物体在相机坐标系下的位姿，可是，机器人操作物体需求知道物体在机器人坐标系下的位姿。所以，咱们先需求对相机的位姿进行标定。

  只需在机械臂结尾固定一个棋盘格，在相机视界内运动几个姿势。因为相机能够核算出棋盘格相关于相机坐标系的位姿A_i 、机器人运动学正解能够核算出机器人底座到结尾抓手之间的位姿改变E_i 、而结尾爪手与棋盘格的位姿相对固定不变。

  而关于眼在手上（Eye in Hand）的状况，也类似，在地上随意放一个棋盘格（与机器人基座固连），然后让机械臂带着相机走几个位姿，然后也能够构成一个AX=XB 的坐标环。

  这是现在工业流水线上最常见的场景。现在来看，这一范畴对视觉的要求是：快速、准确、安稳。所以，一般是选用最简略的边际提取+边际匹配/形状匹配的办法；并且，为了进步安稳性、一般会经过首要打光源、选用反差大的布景等手法，削减体系变量。

  现在，许多智能相机（如 cognex）都直接内嵌了这些功用；并且，物体一般都是放置在一个平面上，相机只需核算物体的（x，y，θ）T 三自由度位姿即可。

  别的，这种运用场景一般都是用于处理一种特定工件，相当于只需位姿估量，而没有物体辨认。

  当然，工业上寻求安稳性无可厚非，可是跟着出产自动化的要求越来越高，以及服务类机器人的鼓起。对更杂乱物体的完好位姿（x，y，z，rx，ry，rz）T 估量也就成了机器视觉的研讨热门。

  机器人视觉范畴是最早开端研讨有纹路的物体的，如饮料瓶、零食盒等外表带有丰厚纹路的都归于这一类。

  当然，这些物体也仍是能够用类似边际提取+模板匹配的办法。可是，实践机器人操作过程中，环境会愈加杂乱：光照条件不确认（光照）、物体间隔相机间隔不确认（标准）、相机看物体的视点不确认（旋转、仿射）、乃至是被其他物体遮挡（遮挡）。

  详细原理能够看上面这篇被引证 4万+ 的论文或各种博客，简略地说，这个办法提取的特征点只跟物体外表的某部分纹路有关，与光照改变、标准改变、仿射改换、整个物体无关。

  因而，运用 SIFT 特征点，能够直接在相机图画中寻找到与数据库中相同的特征点，这样，就能够确认相机中的物体是什么东西（物体辨认）。

  关于不会变形的物体，特征点在物体坐标系下的方位是固定的。所以，咱们在获取若干点对之后，就能够直接求解出相机中物体与数据库中物体之间的单应性矩阵。

  假如咱们用深度相机（如Kinect）或许双目视觉办法，确认出每个特征点的 3D 方位。那么，直接求解这个 PnP 问题，就能够核算出物体在当时相机坐标系下的位姿。

  当然，实践操作过程中仍是有许多细节作业才能够让它真正可用的，如：先运用点云切割和欧氏间隔去除布景的影响、选用特征比较安稳的物体（有时候 SIFT 也会改变）、运用贝叶斯办法加快匹配等。

  并且，除了 SIFT 之外，后来又出了一大堆类似的特征点，如 SURF、ORB 等。

  好了，有问题的物体简略处理，那么日子中或许工业里还有许多物体是没有纹路的：

  咱们最简略想到的便是：是否有一种特征点，能够描绘物体形状，一起具有跟 SIFT 类似的不变性？

  所以，之前一大类办法仍是选用根据模板匹配的办法，可是，对匹配的特征进行了专门挑选（不仅仅边际等简略特征）。

  简略而言，这篇论文一起运用了五颜六色图画的图画梯度和深度图画的外表法向作为特征，与数据库中的模板进行匹配。

  因为数据库中的模板是从一个物体的多个视角拍照后生成的，所以这样匹配得到的物姿只能算是开始估量，并不准确。

  可是，只需有了这个开始估量的物姿，咱们就能够直接选用 ICP 算法（Iterative closest point）匹配物体模型与 3D 点云，然后得到物体在相机坐标系下的准确位姿。

  当然，这个算法在详细施行过程中仍是有许多细节的：怎么树立模板、色彩梯度的表明等。别的，这种办法无法应对物体被遮挡的状况。（当然，经过下降匹配阈值，能够应对部分遮挡，可是会形成误辨认）。

  针对部分遮挡的状况，咱们实验室的张博士上一年对 LineMod 进行了改善，但因为论文没有宣布，所以就先不过多触及了。

  因为深度学习在核算机视觉范畴得到了十分好的效果，咱们做机器人的天然也会测验把 DL 用到机器人的物体辨认中。

  首要，关于物体辨认，这个就能够照搬 DL 的研讨成果了，各种 CNN 拿过来用就好了。在 2016 年的『亚马逊抓取大赛』中，许多部队都选用了 DL 作为物体辨认算法。

  可是， 在这个竞赛中，尽管许多人选用 DL 进行物体辨认，但在物姿估量方面都仍是运用比较简略、或许传统的算法。好像并未广泛选用 DL。如 周博磊 所说，一般是选用 semantic segmentation network 在五颜六色图画上进行物体切割，之后，将切割出的部分点云与物体 3D 模型进行 ICP 匹配。

  它的办法大约是这样：关于一个物体，取许多小块 RGB-D 数据（只关怀一个patch，用部分特征能够应对遮挡）；每小块有一个坐标（相关于物体坐标系）；然后，首要用一个自编码器对数据进行降维；之后，用将降维后的特征用于练习Hough Forest。

  这部分也是比较有意思的研讨内容，因为机器视觉的意图是给机器人操作物体供给信息，所以，并不限于相机中的物体辨认与定位，往往需求跟机器人的其他模块相结合。

  咱们让机器人从冰箱中拿一瓶『雪碧』，可是这个 『雪碧』 被『美年达』挡住了。

  所以，关于机器人来说，它需求先经过视觉确认雪碧在『美年达』后边，一起，还需求确认『美年达』这个东西是能够移开的，而不是冰箱门之类固定不行拿开的物体。

  当然，将视觉跟机器人结合后，会引出其他许多好玩的新东西。因为不是我自己的研讨方向，所以也就不再布鼓雷门了。

  声明：本文内容及配图由入驻作者编撰或许入驻协作网站授权转载。文章观念仅代表作者自己，不代表电子发烧友网态度。文章及其配图仅供工程师学习之用，如有内容图片侵权或许其他问题，请联络本站作侵删。侵权投诉

  RJU系列关节模组——面向商业、日子服务类运用一款全新的，有别于RJS系列，RJS-II系列，SHD系列，等传统外形的

  一般由主构架（手臂）、手腕、驱动体系、丈量体系、控制器及传感器等组成。 1图是

  点的使命。这些是夹持器有必要与物体触摸的点，以保证外力的效果不会导致物体不安稳，并满意一组