前段时间，鉴智机器人CTO、联合创始人都大龙博士在一场活动上宣布了题为《以视觉3D了解为中心的新一代自动驾驭体系》的主题讲演，推出「双目立体视觉智能驾驭体系」（以下简称“双目智驾体系”），本文将结合讲演内容，对“双目智驾体系”做一次比较全面的介绍和整理，回答如下几大问题：

  年头特斯拉大降价引发职业巨震，然后国内重新实力车企到3月份的燃油车降价潮，都在进一步检测着整车本钱，职业性价比比拼进入关键期。

  相关热点新闻背面，是智能轿车全体的趋势：轿车硬件本钱会越来越廉价，智能软件的价格越来越贵。

  在这种布景下，职业有必要考虑：什么计划能支撑智驾继续发展，以更具性价比的办法，完成功用更优、功用更牢靠的智驾？

  一个中心破局思路在传感器端。职业需求装备安稳、信息涵载齐备，能够大规模量产的传感器装备计划。

  比较于其他传感器，视觉传感器具有信息涵载齐备、硬件本钱低的固有优势，但其信息为直接表明，对算法和算力的发掘要求极高，这既是职业难点、也是技能壁垒。

  （所谓“直接表明”，指视觉传感器的一切信息都需求二次处理才干被使用。比方做辨认，不管是形式辨认仍是CNN仍是RNN，都是需求经过处理才干取得成果。双目的测距虽然是直接的，可是也要阅历标定、匹配等，才干生成视差。）

  根据这一洞悉，鉴智机器人自成立伊始，以终为始，经过根据AI算法与视觉传感器的软硬协同优化，构建以视觉3D了解为中心的智能驾驭体系「双目立体视觉智能驾驭体系」。

  视觉路途在信息涵载方面具有显着优势，视觉传感器作为中心感知部件也已成为业界一致。不过，一直以来业界都有着单目、双目等路途的比较和讨论。

  双目立体视觉传感是生物亿年进化并终究与实际世界自洽的成果。左/右目投影成像与视差之间构建了一种自监督的束缚形式，使之能与物理世界的三维信息相关，并继续自适应学习，然后赋能机器人与自动驾驭在实际世界中自若活动的才能。

  人和动物之所以能发生立体的感知，本质上是因为左/右目或不一起间对同一物体看到的图画有所差异，这种差异以视差进行描绘，而视差根据三角测量原理即可得到深度。因为视差获取是经过左/右目图画的差异核算的，仅与图画像素级的相似度有关，并不依靠高层语义信息，因而能够直接处理当时自动驾驭“先辨认再检测”（非标障碍物检测）的问题，能够处理非标物体和路况。

  与传统根据启发式规矩核算左/右目图画匹配以获取视差的办法不同，鉴智机器人选用机器学习的AI对左/右目以及时序图画进行时空匹配，不只大大进步了3D/4D感知的功用，并且能够以数据驱动的办法不断学习进化。

  针对自动驾驭多传感器后交融后处理所面对的语义了解天花板问题，即经过启发式规矩对不同传感器的感知成果进行交融，难以处理相似大车切断等问题，业界提出了根据学习的端到端bev 3D/4D感知计划，将启发式规矩用AI学习的办法代替，然后大大进步了自动驾驭语义了解的天花板。但一起也对数据闭环真值体系提出了更高的要求，即3D/4D感知体系所需求的真值获取本钱往往是十分高的，间隔、速度、光流、场景流等信息人工难以标示。

  依靠激光雷达进行3D/4D真值获取的办法不只与视觉难以自洽，并且难以处理数采与量产的距离（量产车型绝大多数并不装备激光雷达）。双目立体视觉因为具有更精准、更安稳、泛化才能更强的稠密3D描绘信息，能够以更低的门槛、更高的功率构建更高精度的3D/4D重建，然后得以构建更高效能和功率的3D/4D数据闭环体系。

  当时，双目立体视觉已从开始的“小众路途年起前装搭载车型便不断添加，从多为奢华品牌车型到现在成为越来越多自主品牌新车的“标配”：比方吉祥领克009、北汽极狐阿尔法S、五菱Kiwi等车型，均挑选双目立体视觉作为前向主传感器。

  车载双目相机需求在整车10年30万公里的生命周期内坚持高安稳性，需求光学部件、结构及资料、出产工艺、图画做全栈软硬件协同优化；

  a.在满意车载可安置空间尺度约束下，经过超分辨率视差核算计划完成百米外的车辆、行人、以及非标障碍物的高精度测距；

  b.高帧率、高精度、稠密深度估量，在本钱可控的嵌入式核算渠道完成产品化；

  c.使用AI学习范式处理弱纹路、重复纹路场景视差匹配精度的问题，一起根据数据驱动不断进步时空层面的视差精度；

  a.产线标定计划需求结合相机硬件特性做全栈自研，出产节拍可根据整车出产节拍定制；

  b.在线自标定在无真值参阅的前提下，能够对模组多自由度的误差进行校准，确保点云数量和精度契合感知的功用要求。

  传统的双目立体匹配算法针对弱纹路、反光等区域作用比较差，对物体语义信息使用较少，算法适用范围具有局限性，作用上限显着。鉴智机器人经过贯穿传感器、AI算法的3D视觉了解路途，构建眼脑协同新范式，打造根据AI的双目立体视觉产品，供给高阶智驾前视感知所需的稠密、实时、同步的3D描绘信息。

  i. 经过双目深度估量供给的3D信息下降了视觉感知后处理体系复杂度，得到更准确的3D视觉成果；

  ii.针对低纹路非标物体、非练习集方针、进出地道场景和单目立体盲（车辆或地上印刷物易被检测为交通参与者或设备）等场景，经过双目深度估量能够获取准确的深度信息。

  相同地，双目的深度信息能够更好地得到路途拓扑及可行进区域，关于非结构化路途路面分隔、大曲率弯道、路途拓扑、坡道场景的辨认更准确；一起，稠密的3D描绘信息关于路面凹凸场景的高程检测相比照稀少激光雷达点云检测功用更佳。

  双目深度估量能够增强在线部分建图中特征点的准确深度信息，进步在线建图的精度。一起，因为双目立体视觉能够对每一帧图片进行三角化，能够更快地进行地图的初始化和更新，然后具有更好的场景泛化性，能够完成作用更佳的回忆行车及回忆泊车功用。

  a. 传感器自身的低本钱：以双目立体视觉产品为主的传感器装备自身本钱低，还能够削减传感器数量，相较于激光雷达等计划，出现一个数量级的本钱下降。

  b. 传感器复用的低本钱：鉴智机器人双目立体视觉产品，除可满意高阶智驾功用外，更可赋能其他智能化使用，如魔毯高程检测、经过性检测等，完成单一传感器的多功用复用，下降整车归纳本钱。

  鉴智机器人双目立体视觉智驾体系，从入门ADAS到更高阶智驾功用，均能供给“越级式”的体系才能，满意性价比的产品需求，完成“一个技能渠道，掩盖不同定位车型渠道”。

  具有稠密的视觉3D描绘信息，双目立体视觉成为天然的3D数据开垦机器，可面向大规模的量产交给完成极具规模化效应的视觉3D数据闭环。相较于传统环绕LiDAR树立的数据体系，双目立体视觉产品助力完成端到端AI数据闭环，可数量级进步数据驱动的数据闭环迭代功率。

  鉴智机器人双目智驾体系为城市行车供给全地利、全天候、全类目的自动安全，功用包含自动安全体系、行车功用和双目智驾特征功用三大方面：

  自动安全体系：满意Euro-NCAP 2023 要求完成五星规范的自动安全功用之外，一起支撑增强型安全功用，包含ELKS（紧迫车道坚持）、AES (紧迫自动转向)，ESS (紧迫安全泊车战略)，低速近间隔AEB等，以供给全方位的自动安全保证才能；

  行车功用：TSR/TLR（交通标识/灯辨认及呼应）、Pilot （居中巡航辅佐驾驭）、NOA（ 高速领航辅佐驾驭）、DTLC（驾驭员拨杆变道）、ALC（自主变道）、Pilot Junction Assist（路口通行辅佐）等。一起该体系支撑行车场景体会的进一步拓宽，包含后续完成城区领航辅佐及低速行车辅佐等。

  双目智驾特征功用：近间隔加塞处理、非标障碍物躲避、大曲率弯道居中巡航、路面高程检测、路途拓扑结构构建、可行进区域检测、高功用回忆行车和回忆泊车等。

  这些特征功用均是根据双目3D感知的差异化优势开发而得。比方近间隔防加塞功用，单目cut-in操控要检测到车辆方针时才会发动，这需求车身进入视界的部分能够支撑车辆被辨认到。而双目智驾体系直接使用双目3D信息，在车头刚刚探入时就能够检测到非标障碍物的探入，然后愈加及时有用的发动cut-in操控。

  再如非标障碍物绕行功用，一般来说，事故、建筑工地等场景没有明晰的界说，对错规范化场景，单目智驾体系很难做出准确判别，而双目智驾体系能够检测出十分准确的可行进区域完成绕行，大大进步这些非标场景的处理体会。

  此外，双目智驾体系在魔毯悬架、驾驭形式智能调理、窄道可经过性检测等方面的体现相同优异。例如，经过双目预瞄能够准确感知左/右车轮区域的路面凹凸高度信息，合作悬架体系提早调理相关参数，进步驾乘舒适感；再如使用窄道可经过性检测，经过检测可行进区域宽度，并结合自车宽度判别本车是否可经过，然后进步经过安全性。

  4月18日-27日，鉴智机器人将携国内首个根据AI的双目立体视觉智能驾驭体系露脸第二十届上海世界轿车工业博览会（2.2H馆2BF020B展位），欢迎观赏垂询！