SIFT算法概述 - 图文

SIFT特征匹配技术讲义1

导言：

SIFT 特征匹配算法是目前国内外特征点匹配研究领域的热点与难点，其匹配能力较强，可以处 理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄 的图像也具备较为稳定的特征匹配能力。该算法目前外文资料较多，但中文方面的介绍较少。为此 我撰写了这篇文档，以帮助国内的研究学者尽快入门，以最快的速度去体验 SIFT 算法的魅力！

5.1 宽基线特征匹配概述

宽基线条件下点特征匹配的首要任务就是提取稳定的特征，并进行描述。这里稳定一词的含义 指的是希望该特征能对旋转、尺度缩放、仿射变换、视角变化、光照变化等图像变化因素保持一定 的不变性，而对物体运动、遮挡、噪声等因素也保持较好的可匹配性，从而可以实现差异较大的两 幅图像之间特征的匹配。

对图像变化保持稳定的特征描述符称为不变量，比如对图像的旋转保持稳定的不变量称为旋转 不变量(Rotation Invariant)，对尺度缩放保持稳定的不变量则称为尺度不变量(Scale Invariant)。

特征描述符(Featrue Descriptors)指的是检测图像的局部特征（比如边缘、角点、轮廓等），然后 根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量，从而把图像 匹配问题转化为特征的匹配问题，进而将特征的匹配问题转化为特征空间特征向量的聚类问题[51]。

宽基线条件下的点特征匹配一般包括下面四个步骤[30]：

1.) 特征点检测。这些特征点一般是灰度变化的局部极值点，含有显著的结构性信息，甚至这些 点

也可以没有实际的直观视觉意义，但却在某种角度、某个尺度上含有丰富的易于匹配的信 息。 2.) 特征点描述，即建立特征向量。这是各匹配算法主要的不同所在。特征空间的选择决定了图 像

的哪些特性参与匹配，哪些特性将被忽略。特征点的特征描述符应是不变量，以确保最低 限度的受摄像机的运动或光照变化等因素的影响。选择合理的特征空间可以降低各类图像变 化因素对匹配算法速度、稳健性的影响。

3.) 进行特征匹配以获得候选匹配点。这一步根据特征向量的相似性来进行匹配，一般采用各种

1

本讲义主要改写于本人毕业论文中关于SIFT的讨论章节。推荐参考图书：《Visual C++/Matlab图像处理与识别实用案例精选》

距离函数作为特征的相似性度量，如欧氏距离、街区距离、马氏距离等[51]。

4.) 消除错配。无论采用何种特征描述符和相似性判定度量，错配难以避免。这一步主要做的就 是

根据几何或光度的约束信息去除候选匹配点中的错配。常用的去外点方法是RANSAC随机 抽样一致性算法[41]，常用的几何约束是极线约束关系(Epipolar Line)[24]。

5.2 SIFT 特征匹配

5.2.1 图像多尺度表示 尺度空间理论最早出现于计算机视觉领域时其目的是模拟图像数据的多

尺度特征。Koendetink

在文献[52]中证明高斯卷积核是实现尺度变换的唯一变换核，而Lindeberg[53]等人则进一步证明高斯核 是唯一的线性核。

二维高斯函数定义如下：

G( x, y, σ ) = 1 e ?( x 2

2πσ σ

σ 代表了高斯正态分布的方差。

2

+ y 2 ) / 22

(5-1)

一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：

L( x, y, σ ) = G(x, y, σ ) ? I (x,

(5-2)

y)

式(5-2)中，(x,y)代表图像的像素位置， σ 称为尺度空间因子，其值越小则表征该图像被平滑的 越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。L 代 表了图像的尺度空间。

5.2.2 SIFT 特征匹配算法

David G.Lowe在 2004 年总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于 尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT算子[53]， 其全称是Scale Invariant Feature Transform，即尺度不变特征变换。

SIFT 算法首先在尺度空间进行特征检测，并确定关键点(Keypoints)的位置和关键点所处的尺度， 然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。

SIFT 算法提取的 SIFT 特征向量具有如下特性：

a) SIFT 特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变

化、仿射变换、噪声也保持一定程度的稳定性。

b) 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的 匹

配[23]。 c) 多量性，即使少数的几个物体也可以产生大量 SIFT 特征向量。 d) 高速性，经优化的 SIFT 匹配算法甚至可以达到实时的要求。 e) 可扩展性，可以很方便的与其他形式的特征向量进行联合。

Lowe 在图像二维平面空间和 DoG(Difference -of-Gaussian)尺度空间中同时检测局部极值以作为 特征点，以使特征具备良好的独特性和稳定性。DoG 算子定义为两个不同尺度的高斯核的差分，其 具有计算简单的特点，是归一化 LoG (Laplacian-of-Gaussian)算子的近似。DoG 算子如式(5-3)所示：

D( x, y,σ ) = (G( x, y, kσ ) ? G( x, y,σ )) ? I ( x, y)

= L( x, y, kσ ) ? L( x, y,σ )

(5-3)

对于图像上的点，计算其在每一尺度下 DoG 算子的响应值，这些值连起来得到特征尺度轨迹曲 线。特征尺度曲线的局部极值点即为该特征的尺度。尺度轨迹曲线上完全可能存在多个局部极值点， 这时可认为该点有多个特征尺度。

(a) 测试图像

(b) 尺度轨迹曲

线 图 5-1 尺度轨迹

图 5-1(b)为图 5-1(a)中十字花点处的尺度轨迹曲线。可见该图中尺度轨迹曲线在大约 σ =5 处取得 局部极小值。

SIFT 特征匹配算法包括两个阶段，第一阶段是 SIFT 特征的生成，即从多幅待匹配图像中提取出 对尺度缩放、旋转、亮度变化无关的特征向量；第二阶段是 SIFT 特征向量的匹配。

下面本文来具体介绍一下 SIFT 算法。一幅图像 SIFT 特征向量的生成算法总共包括 4 步： （1）尺度空间极值检测，以初步确定关键点位置和所在尺度。

图 5-2 DoG 尺度空间局部极值检测

图 5-2 为 DoG 尺度空间的三个相邻尺度。 在检测尺度空间极值时，图中标记为叉号的像素需要跟包括同一尺度的周围邻域 8 个像素和相

邻尺度对应位置的周围邻域 9×2 个像素总共 26 个像素进行比较，以确保在尺度空间和二维图像空 间都检测到局部极值。

（2）通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不 稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力[53]。

（3）利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不 变性。

m( x, y) = (L( x + 1, y) ? L( x ? 1, y)) 2 + (L( x, y + 1) ? L( x, y ? 1)) 2

θ ( x, y) = a tan 2((L( x, y + 1) ? L( x, y ? 1)) /(L( x + 1, y) ? L( x ? 1, y)))

(5-4)

式(5-4)为(x,y)处梯度的模值和方向公式。其中 L 所用的尺度为每个关键点各自所在的尺度。 在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方 向。梯度直方图的范围是 0～360 度，其中每 10 度一个柱，总共 36 个柱。直方图的峰值则代表了该 关键点处邻域梯度的主方向，即作为该关键点的方向。图 5-3 是采用 7 个柱时使用梯度直方图为关 键点确定主方向的示例。

图 5-3 由梯度方向直方图确定主梯度方向