简介本文援用地点：飞翔时光(TOF)摄像头作为杰出的测距成像体系怀才不遇，它应用TOF技巧来断定摄像头与图像中每个点之间的间隔。经由过程丈量激光器或LED发射的天然光旌旗灯号的来回时光，便可盘算出间隔。TOF摄像头供给准确的深度信息，因而在正确间隔丈量跟3D可视化至关主要的利用中，比方在呆板人跟产业技巧利用中，该摄像头是极具代价的东西，比方可能在270°的视场(FOV)范畴履行碰撞检测跟人体检测，从而进步保险性。ADTF3175 TOF传感器的校准FOV可到达75°。但是，当利用的FOV超越该地区时，挑衅呈现，此时就须要多个传感器。假如经由过程集成各个传感器的数据来为全部视场供给片面的剖析，这可能会形成艰苦。一个潜伏处理计划是让传感器对局部FOV履行算法，而后将输出传输至主机以停止收拾。但是，该方式面对地区堆叠、逝世区跟通讯耽误等成绩，招致其成为很难无效处理的庞杂成绩。另一种方式是将从全部传感器捕捉的数据拼接成单个图像，随后在拼接的图像上利用检测算法。该进程可卸载至独自的主机处置器，从而加重传感器单位的盘算负荷，留出空间履行高等剖析跟其余处置选项。但是，值得留神的是，传统图像拼接算法自身十分庞杂，会耗费主机处置器相称一局部的盘算才能。别的，因为隐衷起因，在很多利用中，数据无奈发送到云端停止拼接。ADI公司的算法处理计划可应用深度数据的点云投影，拼接来自差别传感器的深度跟红外图像。这包含应用摄像头外部地位转换捕捉到的数据并将其投影回到2D空间，从而天生单张持续表现的图像。该方式可能年夜幅增加盘算量，有助于在边沿到达及时运转的速率，并确保主机处置器的盘算才能仍可用于其余高等剖析。图1 深度拼接算法处理计划描写ADI的3D TOF处理计划分4个阶段运转（拜见图1）：1.预处置红外跟深度数据：红外跟深度数据的时光同步及预处置。2.将深度数据投影到3D点云：应用摄像头内参将深度数据投影到3D点云。3.转换跟兼并点：应用摄像头的外部地位对点云停止坐标转换，并兼并堆叠地区。4.将点云投影到2D图像：采取圆柱投影将点云投影回到2D图像。体系与算法的挑衅及处理计划主机接受深度跟红外帧主机经由过程USB等高速衔接方法衔接到多个TOF传感器。主机网络深度跟红外帧，并将其存储在行列中。同步深度跟红外数据主机接受到的来自每个传感器的深度跟红外帧在差别时光实例被捕捉。为了防止因物体挪动而形成的时光不婚配，全部传感器的输入须要同步到统一时光实例。应用时光同步器模块，该模块依据来自行列的时光戳婚配传入的帧。投影到点云经由过程应用每个传感器的同步深度数据，在主机上天生点云。而后，每个点云依据其各自由实在场景中的摄像头地位（拜见图2）停止转换（平移跟扭转）。接着，这些转换后的点云兼并构成单个持续点云，笼罩传感器的组合FOV（拜见图3）。图2 相机外参图3 兼并的点云3D到2D投影经由过程应用圆柱投影算法，也称为前视图投影，FOV的组合点云投影到2D画布上（拜见图4）。换言之，该算法将兼并点云的每个点投影到2D立体的像素上，从而天生单连续续全景图，笼罩全部传感器的组合视场。这会发生两个2D拼接图像：一个用于拼接的红外图像，另一个用于投影到2D立体的拼接深度图像。图4 圆柱投影算法进步投影品质将3D组合点云投影到2D图像仍无奈天生高品质图像。图像存在掉真跟噪点。这不只影响视觉品质，对投影上运转的任何算法也会发生倒霉影响。以下章节记载了3个要害成绩（拜见图5）及其处理方式。图5 2D投影成绩投影有效深度地区对超越传感器任务范畴(8000 mm)的点，ADTF3175的深度数据的有效深度值为0 mm。这会招致深度图像上呈现年夜片空缺地区，并构成不完全的点云。将深度值8000 mm（摄像头支撑的最年夜深度）调配给深度图像上的全部有效点，并应用该值天生点云。这确保了点云不空隙。添补未映射的像素将3D点云投影到2D立体时，2D图像中存在未映射/未添补的地区。很多点云(3D)像素映射至统一个2D像素，因而多个2D像素还是空缺。这就会发生如图6所示的拉伸图案。为处理该成绩，咱们应用3 × 3过滤器，用其相邻的8个具有无效值的像素的均匀红外/深度值来添补未映射的像素。如许便可取得更完全的输出图像，并打消伪影（拜见图6）。堆叠点发生的噪点得益于圆柱投影算法，堆叠地区上的很多点终极在2D投影输出上取得雷同的运动坐标。因为配景像素与远景像素堆叠，因而会发生噪点。为处理该成绩，咱们将每个点的径向间隔与现有点停止比拟，仅当与摄像头原点的间隔小于现有点时，才会调换该点。这有助于仅保存远景点，并进步投影品质（拜见图7）。图6 添补未映射的像素图7 堆叠噪点修复论断该算法可能以小于5°的堆叠度拼接来自差别摄像头的图像，比拟之下，传统要害点婚配算法至少须要20°的堆叠度。该方式所需的盘算量少少，因而十分实用于边沿体系。因为不图像掉真，深度数据在拼接后仍存在完全性。该处理计划进一步支撑了ADTF3175传感器的模块化实现，以极小的丧失取得所需FOV。FOV的扩大不限于程度维度，雷同技巧也可用于在垂直偏向上扩大视场，从而取得真正的球形视觉。该处理计划能够在衔接了4个传感器的Arm® V8 6核边沿CPU上以10 fps的速率运转，供给275°的FOV。当仅应用两个传感器时，帧速度可达30 fps。该方式的重要上风之一是实现了宏大的盘算效力增益，基础盘算效力的增益超越3倍（拜见表1）。图8跟图9展现了应用该处理计划取得的一些成果。表1 盘算庞杂性比拟：针对512 × 512 QMP输入，传统算法与本文所提算法比拟算法均匀浮点运算传统图像拼接算法8.57亿本文提出的PCL深度拼接算法2.6亿（增加3.29倍）图8 拼接的红外数据供给210°的FOV参考文献“ADI公司的3DToF ADTF31xx”。GitHub, Inc.“ADI公司3DToF空中探测器”。GitHub, Inc.“ ADI公司3DToF图像拼接”。GitHub, Inc.“ ADI公司3DToF保险气泡探测器”。GitHub, Inc.“ ADI公司3D ToF软件套件”。GitHub, Inc.He、Yingshen、Ge Li、Yiting Shao、Jing Wang、Yueru Chen跟Shan Liu.“经由过程球面投影的点云紧缩框架”。2020年IEEE视觉通讯跟图像处置国际集会，2020年。产业视觉技巧。ADI公司Topiwala、Anirudh。“点云的球面投影”。Towards Data Science，2020年3月。图9 存在278° FoV的拼接红外跟深度图像作者简介Rajesh Mahapatra领有超越30年的任务教训，现在辞职于班加罗尔ADI公司的软件跟保险部分。他热衷于应用基于ADI硬件处理计划的算法跟嵌入式软件来辅助客户处理成绩。他与非当局构造亲密配合，植树造林，并为都会里经济艰苦的人群供给培训，辅助他们营生。他在体系、图像处置跟盘算机视觉范畴领有5项专利。Anil Sripadarao于2007年参加ADI公司，现在辞职于班加罗尔ADI公司的软件跟保险部分。他感兴致的范畴包含音频/视频编解码器、AI/ML、盘算机视觉算法跟呆板人技巧。他在图像处置跟盘算机视觉范畴领有6项专利。Swastik Mahapatra是软件跟保险部分的高等呆板进修工程师。他于2018年参加ADI公司，努力于开辟种种盘算机视觉技巧跟呆板人保险处理计划。他在深度进修边沿推理框架开辟、呆板人利用开辟方面领有丰盛的教训，并粗通卷积神经收集。他的专业范畴包含盘算机视觉、3D视觉、呆板进修跟呆板人的算法开辟。 　　申明：新浪网独家稿件，未经受权制止转载。 -->