基于单目的手持式视觉测量方法研究

摘 要： 提出一种基于单目视觉和惯性传感器的视觉测量方法，当手持移动摄像头时，利用惯性传感器获取摄像头轨迹，再根据多视角测量原理，测量被测物体的大小、位置等信息；利用图像特征点的移动信息抑制加速度传感器的累积误差。实验证明测量结果误差在2%以内，且该方法不需要任何摄像机外参数的先验知识及定标参照物，可满足实际测量需求。

关键词： 手持式摄像机； 惯性传感器； 视觉测量； 单目视觉

中图分类号： TN98?34； TP391 文献标识码： A 文章编号： 1004?373X（2015）16?0088?04

Research on vision measurement of monocular Handheld camera

WEN Jun， LI Rong

（School of Physics and Telecommunication Engineering， South China Normal University， 510006， China）

Abstract： A vision measurement method based on monocular vision and inertial sensors is proposed. When the camera is moved by hand， the inertial sensors is used to obtain the camera track， and then the size， location and other information of the object under detection are measured according to the multi?view measuring principle. The mobile information of the image feature points is utilized to restrain the accumulated error of accelerometer. The experiment results prove that the error of the measured result is less than 2%. The method can meet the needs of the actual measurement.

Keywords： handheld camera； inertial sensor； vision measurement； monocular vision

视觉测量技术是一种坐标测量与视觉技术相结合的测量技术，其任务是利用二维图像信息，计算其对应的三维世界信息，重点研究物体的几何尺寸及物体的位置测量。在现代化生产中，视觉测量技术广泛应用于工业自动化检测、反向工程、机器人视觉等主动、实时测量过程[1?2]。其中，基于单目视觉测量系统，国内外的科研工作者已进行了大量的研究工作，但在这些研究中，单目视觉测量多为基于结构光方式、使用辅助标定物[3]或与特定的物理平台结合[4]等方式进行测量。这些测量方式在一定程度上已满足了生产、建设中的测量需求，但它们并不具有手持便携性，不便于民用推广。

因此，本文提出一种手持式单目视觉测量方法――使用摄像机与惯性传感器相结合。本方法不但具有良好的便携性、测量灵活性，且成本低。实验结果表明其测量精度能满足一般的测量需求。

1 视觉测量结构与原理

经典的视觉测量方法是使用双目或多目结构，完成对三维空间点的测量，而本文是利用图1中摄像机与惯性传感器结合的单目结构，通过手持摄像机移动来模拟多目结构，从而完成测量。其测量原理如图 2所示。Oc?xcyczc为摄像机坐标系，其中Oc表示光心。设世界坐标系与摄像机坐标系重合，空间点Pc在世界坐标系的齐次坐标为[xc，yc，zc，1]T，摄像机在不同角度下在图像平面的投影点为mi（ui，vi），根据摄像机模型[5]有：

[zcuivi1=fx0u00fyv0001Ri -Ri Tixcyczc 1=KRiI -TiPc] （1）

式中[K=fx0u00fyv0001]为摄像机内参数矩阵，可根据文献[6]，预先使用棋盘对摄像机进行标定，计算出摄像机的内参数为：

[K=962.3970296.2050960.804231.668000] （2）

根据式（1）可知，只需求出摄像机移动过程中的旋转矩阵Ri及平移向量Ti，即可恢复空间点Xc的坐标。结合实际手持移动情况，手持移动拍摄时，一般只在近x?y平面运动，z方向小范围的移动对测量结果影响不大，故本文约定z轴移动距离为0，即 [T=txty0T]。

图1 测量结构

图2 测量原理

2 摄像机位姿求解

2.1 惯性传感器

获得摄像机位置及姿态信息最直接的方法是使用惯性传感器，即陀螺仪和加速度计。本文除了采用惯性传感器外，还引入数字罗盘数据，位姿求解结构框图如图3所示。

图3 位姿求解结构框图

使用互补滤波器[7?8]融合3种传感器数据，解算出摄像机姿态[R]，同时计算出加速度的重力场分量，结合MPU6050中加速计的输出数据计算摄像机位移[T]。当摄像机运动时，将同时存在线运动和角运动，故位移计算中应对旋转效应进行补偿[9]。 速度[V]的迭代更新方程如下：

[Vn=Vn-1+Rn-1ΔVn+12Δθn×Vn] （3）

式中：[Vn-1]，[Rn-1]分别为上一时刻的摄像机速度和姿态矩阵；[ΔVn=tn-1tna（t）dt]，[Δθn=tn-1tnω（t）dt]分别是加速度和陀螺仪在[tn-1，tn]时间段内的速度增量和角度增量；[12Δθn×Vn]是速度的旋转效应补偿项。

位移[T]的迭代更新方程如下：

[Tn=Tn-1+Vn-Vn-12Δt] （4）

由于低成本加速度计的精度并不高，故直接经过二次积分所得位移的累积误差较大，不能直接使用。本文将引入图像信息，对加速度计进行补偿，可大大减少其累积误差。

2.2 数字图像处理

使用图像处理技术获得摄像机位姿信息的经典方法如文献[10]所描述，是通过计算2幅图像之间的基础矩阵[F]，然后再结合摄像机内参数矩阵[M]求解本质矩阵[E]，根据本质矩阵可获得摄像机的位姿信息。但此方法需匹配特征点和求解矩阵方程，运算量大，且2幅图像间距离不能太小，否则求解的基础矩阵[F]误差较大。结合本设计方法，摄像机只作小范围移动，且图像信息需实时修正加速度计的积分误差，计算量不宜过大，故本文直接对每帧帧间特征点距离作统计，可以得到摄像头在x?y平面的帧间移动距离：

[Tfn=i=1kmin-min-1k] （5）

式中：[mn]，[mn-1]为前后两帧对应的特征点坐标。

图像处理过程如图4所示。

图4 图像处理过程

由于摄像机移动过程中包含平移和旋转运动，而无论是摄像机平移或旋转，都会使图像发生移动，旋转补偿是为了去除帧间移动距离的旋转分量。令旋转分量为[Tfr]，平移分量为[Tft]，则有：

[Tf=Tft+Tfr] （6）

设摄像机绕光心[O]旋转[R]，世界点[P]，在旋转前后的坐标分别为[P]，[P′]，其投影在图像平面的点分别为[p]，[p′]。根据摄像机模型[5]可知：

[p=KP， p′=KP′， P′=RP]

式中：[K]为摄像机内参数矩阵；[R]为旋转矩阵，联合三式有：

[p′=KRK-1p]

则可由式（6）得：

[Tft=Tf-Tfr=Tf-（KRK-1-I）p] （7）

2.3 传感器与图像信息融合

由摄像机模型可知，当摄像机移动时，连续两帧之间的摄像机位移[ΔT]与[Tft]有如下关系：

[ΔT=kTft] （8）

式中[k=zf]，z为被测点与摄像机的距离，[f]为摄像机焦距。

则有摄像机移动速度：

[V=ΔTΔt=kTftΔt=kVf] （9）

式中[Δt]为采样周期，[Vf]为特征点的移动速度。

设短时间[tn，tm]内加速度计的偏移量为常量[ab]，加速度计测量值为[as]，真实值为[a]，则有：

[ΔVs-ΔV=tntmas-adt=tntmabdt=abtmtn]

得：

[ab=ΔVstm-tn-ΔVtm-tn] （10）

对于[tn≤ti≤tm]有：

[ΔVi=tntias-ab-amdt+tntiamdt]

令[am=ΔVtm-tn]，结合式（10），有：

[ΔVi=tntias-ΔVstm-tndt+tntiΔVtm-tndt] （11）

同理，结合式（9），有：

[ΔVi=ktntiaf-ΔVftm-tndt+tntiΔVtm-tndt] （12）

则有：

[tntias-ΔVstm-tndt=tntiaf-ΔVftm-tndt]

记[ΔVsi′=tntias-ΔVstm-tndt]，[ΔVfi′=tntiaf-ΔVftm-tndt]。

离散化后，有：

[ΔVsi′=kΔVfi′=Vsi-Vsn-ΔVsim-n=kVfi-Vfn-ΔVfim-n] （13）

则令代价函数为[i=nmΔVsi′-kΔVfi′]，求取使代价函数最小化时的k值，把k代入下式，可得速度的修正方程如下：

[V=wVs+1-wkVf] （14）

式中w为修正系数。结合速度、位移更新方程式（3），式（4）可求得融合后的位移[T]。

3 实验与结果

本文通过手持图1的实验装置，对目标盒子进行拍摄测量，测量过程中，摄像机拍摄目标盒子，先静止再沿y轴移动一小段距离，然后再静止完成测量，整个过程目标物体必须保持静止，且在摄像机拍摄范围内。实验装置的摄像机使用USB摄像头，传感器使用MPU605三轴陀螺仪、三轴加速度计和HMC5883三轴数字罗盘，通过USB转I2C接口直接读取数据，测量算法在PC端实现。

摄像机的姿态矩阵[R]直接由互补滤波器解算得到，位移[T]根据前面所述方法求解。图 5显示了求解位移[T]过程中各数据的曲线，加速度计输出及去除重力分量后的数据曲线如图5（a）所示，从图5（e），图5（f）可以看出，由于加速度计飘移的影响，当手持不动时，单独使用其输出的数据求得的速度[Vsy]并不为零，导致[Tfy]的误差随测量时间增大而增大。图5（b）是特征点跟踪的效果图，其中点A，B，C是待测量的特征点，根据2.2节的方法，对特征点进行统计处理，得到图5（c）的特征点移动曲线及旋转补偿后的数据曲线。最后根据2.3节的方法计算系数k，修正加速计累积误差，图5（e），图5（f）显示修正前后的速度及位移曲线，可以明显看出图像信息很好地纠正了速度及位移的累积误差。 把[R]，[T]，代入式（1）求得特征点A，B，C的世界点坐标值如表1所示。

表1 特征点的世界坐标 cm

盒子实测值AB长22.5 cm，BC长16.5 cm，视觉测量值为：

[AB=xB-xA2+yB-yA2+zB-zA2=22.91 cm]相对误差为1.83%。

[BC=xC-xB2+yC-yB2+zC-zB2=16.18 cm]

相对误差为1.95%。

由此可见，其计算结果与实际情况基本相符，可达到实际测量的精度要求。

4 结 语

本文采用传感器与摄像机结合的模式，通过手持移动模拟多目立体视觉，避免了运用多个摄像机所带来摄像机参数不一致的误差，并融合了传感器与摄像机两者数据，同时通过增加拍摄视频长度来获取更多视角图像，提高了实际测量结果的精确度与可靠性。实验结果表明，由于该方法不需要摄像机外参数的先验知识，也不需要定标参照物且结构简单、使用简单，因此，该方法易于推广应用。

参考文献

[1] 叶声华，邾继贵，王仲，等.视觉检测技术及应用[J].中国工程科学，1999（1）：49?52.

[2] 马骊群，王立鼎，靳书元，等.工业大尺寸测量仪器的溯源现状及发展趋势[J].计测技术，2006（6）：1?5.

[3] 黄桂平，李广云，王保丰，等.单目视觉测量技术研究[J].计量学报，2004（4）：314?317.

[4] 彭永强，李祖枢，薛方正.基于舵机云台的人型机器人单目视觉测距[J].计算机测量与控制，2009（11）：2253?2255.

[5] 吴福朝.计算机视觉中的数学方法[M].北京：科学出版社，2008.

[6] ZHANG Zhengyou. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）： 1330?1334.

[7] EUSTON M， COOTE P， MAHONY R， et al. A complementary filter for attitude estimation of a fixed?wing UAV [J]. IEEE/RSJ International Conference on Intelligent Robots and Systems， 2008， 22（26）： 340?345.

[8] 梁延德，程敏，何福本，等.基于互补滤波器的四旋翼飞行器姿态解算[J].传感器与微系统，2011（11）：56?58.

[9] 邓志红，付梦印，张继伟，等.惯性器件与惯性导航系统[M].北京：科学出版社，2012.

[10] 庄樱曾庆化，刘建业，等.一种基于单目视觉的微型无人机姿态算法[J].计算机工程，2012（15）：197?200.