基于置信度和非局部自相似滤波的超分辨率重建
摘要：针对低分辨率深度图像在超分辨率重建中出现边缘细节模糊和振铃效应问题，提出了结合同场景彩色高分辨率图像，利用深度图像置信度和非局部自相似滤波的超分辨率重建算法。在联合双边上采样滤波器的基础上，结合深度图像置信度，去噪平滑图像，在非局部自相似滤波中结合同场景彩色图像的特征结构信息进行约束，可以很好减轻振铃效应，重建出高分辨率图像。实验结果表明，本文方法在去噪平滑图像的同时更好地保护边缘细节，避免振铃效应，取得不错效果。
关键词：深度图像，置信度，非局部自相似，滤波器，飞行时间 ，超分辨率
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）09-0194-03
随着数字成像技术的发展，计算机视觉被广泛研究。通过二维图像提取图像中物体的三维信息受外部环境影响较大，三维视觉[1-2]克服了二维视觉的许多问题，可以直接将前景与背景分开。3D ToF技术[3]不同于二维图像提取三维信息，而是通过调制的红外光在空气中的飞行时间，计算出目标体的距离。3D ToF技术改变了机器视觉行业，通过使用低成本CMOS像素面阵列和主动调制光源技术来提供三维场景的距离景深信息。不同于单点逐点扫描方式[4]，而是每个像素都能测量对应目标体的亮度和反射回来的调制光的到达时间，从而计算出该点对应的距离景深。该技术结构简单，容易使用，不依赖环境光，高准确性和高帧速率使得ToF相机应用更有吸引力。但是，由于目前硬件水平的影响，设备成像分辨率较低，不能更好地应用。通过深度图像的后期算法[5]处理来提高深度图像的质量具有重要意义，也是目前的研究热点。
基于自然图像成熟丰富的算法在深度图像超分辨率问题中运用，通过单幅或者多幅图像的重建高分辨率图像。Li Feng[6]等人提出基于UHMT先验模型是在小波变换HMT的先验模型上基于MAP估计的方法，算法的迭代优化过程计算量大；Li[7]等人提出基于最小二乘方法（LS）的边缘指导内插算法，该算法是运用最小二乘方法根据低分辨率图像与高分辨率图像的特征相似性来自适应的选择插值格式，较传统插值算法取得更好重建效果；Yang[8]等人在此基础上改进图像局部自相似性，结合小波域的投影算子的全局优化，提出了一种基于图像局部自相似性的超分辨率快速重构算法，提高了视觉效果和满意的峰值信噪比；Ra-jagopalan[9]等人根据深度图像满足马尔可夫随机场先验分布模型，结合最大后验概率方法，将MRF模型运用到深度图像超分辨率问题中。自然图像的方法都是基于初始低分辨率深度图像的内在信息进行重建，分辨率提升效果有限。通过构造序列深度图像，一方面对图像运动位移要求很高，另一方面构造飞行时间相机阵列代价较大，很难得到实际应用。
结合同场景彩色图像的方法是通过RGB-Depth系统的特征信息融合，发掘两者之间的内在联系，指导深度图像的重建。Bo[10]等人提取RGB图像特征梯度核描述子和Depth图像特征深度核描述子提高3D目标物体的识别；Hu[11]等人基于SIFT特征子的仿射不变性，提出一种基于多核学习的融合RGB特征和Depth特征的3D目标识别方法，解决类内差异和类间相似的3D目标识别问题；Kopf[12]和Buades[13]分别采用联合双边上采样滤波器和非局部权值滤波器的方法指导深度图像重建；Diehel等人[14]在马尔可夫随机场模型上建立同场景彩色图像和深度图像之间的联系；Yang[15]提出结合局部和非局部自适应权值滤波的深度图像超分辨率重建，取得更理性效果。结合彩色图像引导重建深度图像方法在深度不连续处受到一定程度滤波器核函数的影响，会导致过度平滑和模糊边缘细节，在彩色图像纹理丰富处易发生错误的映射，在深度图像普遍分辨率不高的情况下会带来振铃效应。非局部相似滤波考虑图像的结构相似性，可以更好地保留图像边缘细节，抑制振铃效应。非局部均值滤波主要思想是通过图像块相似性比较，通过找到与搜索窗的像素块匹配相似的其他像素参与滤波过程。
双边滤波器在去噪平滑图像的同时可以保护边缘细节，联合双边上采样滤波器结合彩色图像可以进一步约束图像。为了进一步提高重建效果，在平滑图像的同时保持边缘细节结构，避免振铃效应影响，本文在此基础上结合深度图像置信度和非局部相似性可以更好地重建图像。通过引入深度图像置信度可以进一步提高滤波效果，保护边缘细节特性，更好地平滑图像；同时，结合高分辨率彩色图像约束非局部滤波，可以更好地抑制振铃效应。通过实验可以得出，本文的优化算法在进一步提高图像平滑的同时更好地保护边缘细节特性，抑制纹理错误映射和振铃效应。
1 联合双边上采样滤波器
空间滤波器通过减小像素邻域之间的方差来衰减噪声。最终结果是更平滑的表面，通常以图像的结构元素的对比度降低为代价，例如模糊的线条和点。双边滤波器本质上是高斯滤波器的边缘保持版本，可以在平滑图像的同时保持边缘结构。除了通过增加另一个高斯项来增强加权函数，该高斯项将中心像素的强度与其邻居的强度进行比较。双边滤波器的具体表达式如下：
[p′]为[p]在[w]领域范围内的像素（[w]通常为3×3或5×5）。[Ip]和[Ip′]为像素点[p]和[p′]的灰度值或RGB值。[g]和[s]构成了滤波器的空间权重参数和值域嘀夭问。Kopf[12]在双边滤波器的基础上通过插值算法上采样低分辨率深度图像，结合同场景的高分辨率彩色图像，两者融合可以更好的重建深度图像。[Ip]和[Ip′]为对应彩色图像值，可以得到滤波器表示为：
2 基于置信度和非局部自相似约束的超分辨率重建算法
上述方法虽然能快速高效地重建出高分辨深度图像，但是无法解决重建过程中的边缘模糊、纹理映射问题，其主要原因在于滤波器的空间距离项和颜色相似项难以区分深度图像边缘。本文通过引入深度图像置信度构造新的滤波，可以在得到去噪平滑图像的同时减小边缘细小结构的模糊和丢失。针对图像分辨率低导致的振铃影响，考虑到非局部滤波可以在一定程度上减小振铃效果，本文在此基础上结合高分辨率彩色图像信息指导约束，取得更好的效果。 2.1 基于置信度的深度图像滤波
由于原始深度图像分辨率低，受到噪声和场景误差的干扰会导致很多细小结构的模糊和消除，即使上述超分辨率算法也不能很好地的重建出细小结构，本文在此基础上通过像素点的置信度[R]进一步来提高图像质量，更好地平滑图像的同时保持边缘细小结构特性。设定阈值为[t]，如果像素点置信度[R]大于[t]，则保留像素点，否则丢弃，可以剔除相位失真的像素点。像素点[p]的深度值可以由以下等式得出：
2.2基于非局部自相似约束滤波
基于同一场景的彩色图像与深度图像在特征处存在相似的不连续性，颜色相同的两个领域往往有相同深度的可能性比较大。本文在传统的非局部均值滤波基础上结合高分辨率的彩色图像的特征信息对比原始的深度图像特征来进行非局部自相似滤波，对应的权值系数为：
式中，[UNi]表示深度图像中以[Ni]为中心的图像块，[Nj]是[Ni]的领域块，[UGi]和[UGj]分别为彩色图像中对应的图像块。[a]，[b]分别为对应高斯核函数的标准差，[hN]和[hG]为控制滤波衰减速度的滤波器参数，进而控制图像的平滑程度，[wij]指得是在深度图像中图像块[Ni]和[Nj]的相似程度。因此，在设定搜索窗口[I]后，滤波后的深度图像[UNi]由以下公式给出：
3 实验对比分析
为了验证本文方法的有效性，采用3D TOF相机和彩色相机拍摄场景数据，使用Middlebury标准数据集进行测试，同时与联合双边滤波方法及非局部均值滤波方法进行对比分析。实验的配置环境是：Intel Core i5 CPU@2.5GHz，4GB内存，操作系统是win7。
第一部分实验是采用TOF相机（TI）和彩色相机进行真实场景拍摄，获取场景深度图像和彩色图像进行配准[16]后进行实验，实验结果如图1所示。由图1各方法的对比可以得出本文算法取得更好的重建效果，边缘细节更加明显。
第二部分实验是采用Middlebury数据集进行实验，进一步分析本文算法的有效性。通过对数据集中的高分辨率深度图像8倍下采样取得低分辨率深度图像，然后通过本文算法和联合双边上采样滤算法以及非局部滤波算法处理获得高分辨率深度图像，进行比较分析。从实验结果可以看出经本文的算法处理的深度图（d）相比较于图（b）（c），边缘细节得到更好的细化和保留，取得很好的重建效果。
通过实验值与真值的均方根比较，定量分析算法的有效性，在不同的放大因子下，比较图像的均方根差值。由表1可以得出，在本文算法的试验下取得的均方根误差最小，说明了本文算法的有效性。
3 结语
本文针对初始低分辨率深度图像在滤波过程中出现边缘细节模糊和振铃效应等问题，提出了结合同场景彩色高分辨率图像，利用深度图像置信度信息和非局部自相似的超分辨率重建算法。在联合双边上采样滤波的基础上，利用深度图像置信度辅助提升去噪平滑图像的效果，在非局部滤波中结合同场景彩色图像的Y构特征信息，可以很好减轻振铃效应，保护边缘细节，重建出高分辨率图像。实验结果表明本文的优化方法从定性和定量两方面都取得不错效果，对深度图像处理具有价值。
参考文献：
[1] Fabian J，Young T， Jones J，et al. Integrating the micraosoft kinect with simulink： real-time object tracking example [J]. IEEE Transaction on Mechatronics， 2012，19（1）：249-257.
[2] 张旭东，吴国松，胡良梅，等. 飞行时间3维相机的多视角散乱点云优化配准[J].中国图像图形学报，2013，18（11） ：1445一1451.
[3] Molina J， Escudero-Vi[n]olo M，Signoriello A， et，al. real-time user independent hand gesture recognition from time-of-flight camera video using static and dynamic models [J]. Machine Vision and Applications，2013，24（1）：187-204.
[4] Cheng X，Zhang H， Xie R. Study on 3D laser scanning modeling method for large-scale history building [C] //Computer Application and System Modeling （ICCASM），2010 lntemational Conference on. IEEE ， 2010 ， 7 ： 573一577.
[5] 张旭东，沈玉亮，胡良梅，等.改进的PMD距离图像超分辨率重建算法[J].中国图像图形学报，2012.17 （4） ：480 -486.
[6] Li Feng，Jia Xiuping， Donald Fraser.Universal hmt based super resolution for remote sensing images [C] //Proceedings of ICIP. Washington，DC：IEEE， Press， 2008， 333-336.
[7] Li Xin， Orchard M T. Edge-directed prediction for lossless compression of natural images [J].IEEE Transactions on Image Processing， 2001，10 （6） ：813-817. [8] 杨宇翔，曹洋，汪增福.利用图像局部自相似性的超分辨率重构算法 [J].中国图像图形学报，2011.16 （5）：720-725.
[9] Rajagopalan A N， Bhavsar A， Wallhoff F， et al. Resolution enhancement of PMD range maps [J].Lecture Notes in Computer Science， 2008， 5096：304-313.
[10] Bo L，Ren X，Fox D. Depth kernel descriptors for object recognition [C] //2011 IEEE/RSJ lnternational Conference on lntelligent Robots and Systems （IROS），San Francisco. CA. USA，2011 ：821-826.
[11] 胡良梅，杨慧，张旭东，等.融合RGB特征和Depth特征的3D目标识别方法 [J].电子测量与仪器学报，2015.29（10）：1431-1439.
[12] Kopf J，Cohen M F ， Lischinski D ， et al. Joint bilateral upsampling [J] . ACM Transactions on Graphics，2007，26 （3） ：839-846.
[13] Buades A ，Coll B ， Morel J M. A non-local algorithm for image denoising [C] //IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005：60-65.
[14] Diebel J，Thrun S. An application of Markov random fields to range sensing [J]. Advances in Neural Information Processing Systems， 2006，18：291-298.
[15] 钣钕瑁曾毓，何志伟，高明煜.基于自适应权值滤波的深度图像超分辨率重建 [J].中国图像图形学报，2014，19（8）：1210-1218.
[16] Choi O，Jung S. A consensus-driven approach for structure and texture aware depth map upsampling [J]. IEEE Transactions onImage Processing，2014，23（8）：3321-3335.