摘 要:针对尺度不变的二值化角点(BRISK)算法抗噪性能较低,未充分利用图像的边缘的问题,提出了一种基于非线性尺度空间的图像配准技术。该算法在构造尺度空间的时候采用非线性滤波器构造图像非线性尺度空间,同时利用AGAST算法在构建的非线性空间里提取具有显著特征的角点,结合旋转不变性的BRIEF算法构造128位的二值化描述子,采用汉明距离匹配描述子。实验结果表明,该算法能大幅度提高关键点的提取质量,获得了较好特征点重复检测率,增强了特征点鲁棒性以及提高了描述子的匹配率。
关键词:角点;非线性滤波器;非线性尺度空间;二值化描述子;汉明距
中图分类号:V243.6
图像配准是计算机视觉的基础应用之一,有大量的视觉应用都依赖于图像特征点的匹配。例如:图像拼接,目标识别以及3D图像合成等应用的基础技术之一就是图像配准技术。图像配准技术简而言之就是把不同来源,不同场景,不同时段以及不同视角的,通过图像配准发现其对应关系,就能够使其在不同空间上达成空间一致的关系,在此基础之上根据不同的要求采取不同的应用策略[1]。
2011年,Leutenegger等针对SIFT[2]以及SURF[3]的缺陷提出BRISK[4](Binary Robust Invariant Scalable Keypoints)算法。BRISK算法的特性使其初步可以应用在手机等低性能的移动终端中,但是由于其采用的AGAST[5]角点算子在简化的高斯尺度空间中进行检测关键点,高斯尺度空间采用的高斯核滤波器,会对角点的边缘模糊,进而导致提取的AGAST算子质量不高,降低了匹配精度。针对这一缺陷,本文利用非线性尺度空间具有较好的滤波效果和图像结构边缘保持性能的特点,降低了无效特征点的数量,提高了特征点的鉴别性。再利用旋转不变的BRIEF算法对提纯后的鲁棒性较好的关键点构造二值化的描述子,最后对描述子利用汉明距离进行匹配。
1 算法设计
基于特征的图像配准算法的流程一般分为三个部分:特征点提取;描述子构造;描述子匹配。特征点提取与描述子构造是图像配准技术的重点。
1.1 非线性尺度空间构造
非线型滤波器将图像在不同尺上的局部结构变化视为流动函数的散度,非线性滤波器的滤波参数设置不再是预先设置,而是根据图像的结构变化以及处理图像的目的而自适应的选取不同的参数。这种方程一般被视为非线性局部差分方程,如公式(1)。
(1)
其中div和▽分别表示求导与梯度操作符。传导函数c(x,y,t)能够根据图像结构来自适应调节扩散参数。时间t就是尺度参数,其值越大就会导致图像结构越平滑。
1.1.1 扩散方程
为了加快扩散方程的衰减Weickert提出了一个新的扩散方程,扩撒方程定义为公式(2),g3代价函数对边缘两边的区域的平滑要强于对线本身的平滑。参数k的选取可以通过手动修正,或者通过估计图像的梯度来自适应调整,这就可以确定那条边缘应该被加强,那条边缘稳定性较差需要被平滑掉。根据实验经验,参数k一般选取图像经过高斯函数平滑后的图梯度直方图的70%的梯度值。
(2)
1.1.2 非线性尺度空间的构造
代价函数g3能够较好的平滑图像轮廓两边的平坦区域而较好的保留轮廓本身,因此选用g3来进行构造非线性尺度空间。为了构造非线性尺度空间,需要把线性尺度空间中的尺度参数σi转化为非线性尺度空间的时间尺度t,在高斯尺度空间中使用标准差为σ的高斯核对图像进行卷积与非线性尺度参数的进化时间参数 时的滤波效果相同,因此可以构造出高斯尺度空间与非线性的映射关系:
(3)
从图1高斯尺度空间与非线性尺度空间的对比中可以看出,高斯尺度空间中图像中所有的结构都被平滑了,然而在非线性尺度空间中图像的边缘被完整的保持而未被平滑。
图1 高斯空间(上),非线性尺度空间(下)
1.2 关键点提取
利用AGAST检测算子的FAST9-16检测子对每一图像组及内插组分别使用同一阈值T进行关键点提取,即关键点要求在16个圆环点中,至少有9个连续比中心点亮或者暗的点。初步提取关键点之后需要对关键点进行极大值抑制滤除不稳定的点。
1.3 特征点描述子构造
为了构造具有旋转不变性的描述子,对提取的关键点邻域的像素对进行主方向归一化从而保证描述子的旋转不变性。
1.3.1 采样与主方向估计
在关键点中心采样N个邻域点,为了提高描述子的鉴别性和抗噪性,方差为σi的高斯滤波器对以采样点为中心半径为σ的进行平滑。对于 个采样点对 ,其局部梯度值 可以通过平滑后的像素值 与 来估计:
(4)
对于所有的采样点集合:
(5)
可以分为长距离对L与段距离对S:
(6)
其中距离阈值可以设置为 , 。通过对长距离的像素对L进行迭代就可以估计关键点k的主方向。选取长距离的像素对是基短距离的像素对梯度互相抵消进而不关键点整体的梯度没有影响同时也可降低算法的运算复杂度。
(7)
1.3.2 构建描述子
为了保持描述子的旋转不变性,需要对描述子进行旋转与尺度的归一化,在算法中描述子的主方向角为 ,而描述子向量则采用经过方向归一化后的短距离书像素对 像素值之比。
描述子的构造采用了BRIEF的基本思想,但是与BRIEF相比,在尺度与旋转的方向的处理上又有些本质的不同。首先,采样点的选取是在归一化的半径范围内选取,也即根据尺度的不同自适应的调整采样区域的半径;其次,相邻采样点之间的高斯滤波互相不会造成影响,从而提高了描述子的鲁棒性;最后,采样的数量较少,同时对采样点像素对分为长短距离两组,分别计算描述子主方向与描述向量。
(8)
1.4 描述子匹配
由于描述子为二值化的128bit向量,因此采用Hamming距离来作为匹配度量,结合现代计算机的特点,Hamming距离可以通过XOR运算来加速运算。
2 实验结果
为了使实验结果更具有说服力,实验对象采用Mikolajczyk和Schmid提供的图片库[6],每一组实验数据都有六张图片,其中每一组的基准图像为第一张。实验程序采用C++语言和Opencv2.3开源库实现。实验分别从关键点可重复检测率以及描述子匹配率两个方面分析算法的性能,对比算法分别为SIFT,SURF以及BRISK。
图2 关键点平均重复率
2.1 关键点检测算子可重复检测率实验
关键点可重复检测率定义:在相应区域内在两幅图像中同时出现的关键数目与所有关键点数目之比。因为实验所用图片已知其变换关系,测试图片与基准图片相应区域同时出现的关键点即 。若认为检测算子可重复检测则 ,因此可重复检测率是判断一个检测算子是不是有较强的鲁棒性以及鉴别性的重要指标。
从图2中可以看出,在图像形变比较小以及图像质量较高的情况下,BRISK与NBRISK的特征点重复检测率相差不大,但是相比于SIFT性能提升比较明显,而在图像模糊以及形变较大的情况下,NBRISK表现出较好的性能,这样充分证明了非线性滤波器较强的边缘保持能力。
2.2 图像特征描述子匹配
从图3中可以看出,SIFT的浮点型描述子的性能较为优异,在图像形变比较小的情况下,NBRISK与BRISK都要比SIFT的匹配精度高,但BRISK与NBRISK速度更快效率更高,且存储资源消耗少,更适用于地低性能的可移动设备上,因为构造非线性尺度空间的原因,NBRISK耗时较长因为构造非线性尺度空间的原因,NBRISK耗时较长,但是其准确度却大幅度提升。
3 结束语
NBRISK算法在BRISK以及AGAST算法的思想基础之上,结合SIFT的尺度空间的特点,提出了非线性尺度空间图像配准技术,在非线性尺度空间中提取图像的关键点与描述子,利用了非线性滤波器在滤除噪声的同时较好的保留图像的边缘结构信息的特点,获得了重复检测率较高的关键点。为了进一步的提高效率,采用了二值化的关键点描述方式,牺牲有限的配准精度,降低了计算代价。
参考文献:
[1]赵芹,周涛,舒勤.基于特征点的图像配准技术探讨[J].红外技术,2006(06):327-330.
[2]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004(02):91-110.
[3]Leutenegger S,Chli M,Siegwart R Y.BRISK:Binary robust invariant scalable keypoints[C]//Computer Vision (ICCV),2011 IEEE International Conference on.IEEE,2011:2548-2555.
[4]Bay H,Ess A,Tuytelaars T,et al.Speeded-up robust features (SURF)[J].Computer vision and image understanding,2008(03):346-359.
[5]孙浩,王程,王润生.局部不变特征综述[J].中国图象图形学报,2011(02):141-151.
[6]Mikolajczyk K,Schmid C.A performance evaluation of local descriptors[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2005(10):1615-1630.
作者简介:余道明(1988-),男,河南信阳人,硕士研究生,主要研究方向:计算机视觉、图像处理;张家树(1966-),男,四川成都人,教授,博士生导师,主要研究方向:自适应信号处理、图像处理、模式识别等;汪辉(1988-),男,湖北武汉人,硕士研究生,主要研究方向:计算视觉、图像去噪。
作者单位:西南交通大学信息 科学与技术学院,成都 610031
基金项目:国家自然科学基金资助项目-高效稳健的自适应绝对偏度滤波算法研究(项目编号:F010305)。