【数字图像处理】SIFT（尺度不变特征变换）算法浅析

图|源自网络

文|凡古一往

PS：本文为7300字超长推送，因为懒就不分成几篇文章了，写了三天，一次应该看不完，建议收藏备用

SIFT简介 

SIFT，即尺度不变特征变换(Scale-invariant feature transform，SIFT),是用于图像处理领域的一种算法。

这是一种帮助机器辨别不同图像中的特征点并进行匹配的算法，可以在不同的尺度空间上查找关键点（特征点），就以下面这张图片来说明：

两张内容相同角度不同的图片中的特征点得到匹配（配对阈值为4）

步骤1：建立高斯差分金字塔  

图像金字塔是什么：一种以不同尺度,不同分辨率来解释图像的结构，对同一个图像进行不同程度的平滑处理，然后把具有最高级别分辨率的图片放在底层，再接着是尺寸逐渐降低的一系列图像，主要是下采样（最底层分辨率最高且像素点最多）

图像金字塔

高斯金字塔是什么：

为什么要用高斯金字塔：

下图图像是模仿的图像离你远去时在你视网膜上的成像，就是高斯金字塔的形成过程：

from https://www.cnblogs.com/starfire86/p/5735061.html

高斯金字塔怎么做：

步骤：

• 将原图扩大一倍作为金字塔第一组第一层
• 将第一组第一层图像经过高斯模糊（高斯滤波）生成第一组第二层
  
  
• 之后将高斯模糊滤波器中的参数σ0乘一个比例系数k（k=2^(1/n)），用新的σ1平滑第二层图像得到第三层图像
  ……
  
  
• 得到第n+1层图像，此时的σn是(k^n)*σ0=2σ0
  ……
  
• 得到第n+3层图像，该组图像滤波完成
  
• 对第n+1层图像降采样，得到下一组第一层图片
• 接下来步骤同上
  

from https://www.bilibili.com/video/BV1Qb411W7cK?p=1

这样，组与组之间只有分辨率（尺度）不同，层与层之间只有平滑系数不同，可以得到如图所示金字塔：

高斯模糊是什么：二维正态分布的密度函数叫做高斯函数：

为什么要进行高斯模糊：

高斯模糊怎么做：

将(x,y)带入公式得到下面权值：

计算过程：例如(0,1):将x=0，y=1带入G(x,y)即可：

验证一下，9格数值之和为0.999999999929567804 约为1，这样就得到了高斯模糊的3x3掩膜，用相同方法可以得到4x4等等尺寸的掩膜。一般计算到(6σ+1)*(6σ+1))的掩膜就可以了，即：10.6*10.6

什么是尺度空间：

尺度空间怎么做：

什么是高斯差分金字塔（DOG）：

高斯差分金字塔怎么做：

from https://www.bilibili.com/video/BV1Qb411W7cK?p=1

DOG金字塔上图像的显示效果如下：

from https://www.cnblogs.com/jiahenhe2/p/7919356.html

这里包含的特征点信息人眼几乎不可见，但是将图像归一化之后，可以很明显的看到差分图像所蕴含的特征，并且有些特征是在不同模糊程度（不同层层）、不同尺度（不同组）下都存在的，这些特征正是SIFT所要提取的“稳定”特征：

from https://www.cnblogs.com/jiahenhe2/p/7919356.html

这时可以来谈一谈为什么一组内的层数应该是S=n+3了，首先高斯差分金字塔内的极值点是在三个方向上的，图像二维空间上的两个以及尺度空间上的一个，每一个像素点要和它所有的相邻点比较,如下图所示,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

这样我们为了在每组中检测n个尺度的极值点，则DOG金字塔每组需n+2层图像，而DOG金字塔由高斯金字塔相邻两层相减得到，则高斯金字塔每组需n+3层图像，那么为什么要检测n个尺度的极值点呢，以n=3为例，高斯金字塔一组有5层：

可以观察到，其中红色标注数据所代表的层，是差分高斯金字塔中获得极值点的层，也就是说只有在这些层上才发生与上下两层比较获得极值点的操作。

下面将这些红色数据连成一串：

2^(1/3)σ,2^(2/3)σ,2^(3/3)σ,2×2^(1/3)σ,2×2^(2/3)σ,2×2^(3/3)σ......

这时发现这些数据是连续的，我们通过在每个组中多构造三层高斯图像，达到了尺度空间连续的效果，每组第一层图像都是从尺度为2σ的上一组的倒数第三张图像降采样得到的，这一效果带来的好处是在尺度空间的极值点确定过程中，我们不会漏掉任何一个尺度上的极值点。

from https://www.bilibili.com/video/BV1Qb411W7cK?p=1

步骤2：极值点的精确定位   

前面我们说到，每一个像素点要和它所有的相邻点比较,如下图所示,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

然而在做这一步之前我们先要进行阈值化：

我们找到的极值点的像素值要满足：abs(val)>0.5*T/n

n就是要检测的图片数量，是一个经验系数，一般令T=0.04,这个条件是为了排除一些低对比度的点（对噪声敏感）的影响，这样我们就可以得到一系列稳定的特征点。

但是我们目前取得的特征点是在离散空间中的极值点，这一步骤中极值点的坐标还是离散的整数值，还要精确确定特征点的位置（非整数值）。

利用已知的离散空间点插值得到的连续空间极值点的方法叫做子像素插值法，主要是根据泰勒公式，用值已知的点A估计点A附近的某点B的值。

from https://www.bilibili.com/video/BV1Qb411W7cK?p=2

在图像领域的求导数用的是差分求导法，也就是用作差来代替求导，就是以下的方式

图中的f(x+1)等点与点之间的关系用下面这张图看得更清楚：

from https://www.bilibili.com/video/BV1Qb411W7cK?p=2

借助差分求导法，通过上面的一系列计算求得的Xhead是我们真正的极值点相对检测到的极值点的偏移量，由于把原点看作(0,0)，那么求得的Xhead就是极值点(特征点)了，带入f(x)就能求得极值。

那么在实现的时候具体是怎么操作的呢，首先是看Xhead，若Xhead的三个变量任意一个偏移量大于0.5，说明精确极值点更接近于另一个特征点X0，则更换特征点X0，重复上述精确定位流程，直到满足Xhead三个维度<0.5，当这个更换特征点X0的次数超出所设定的迭代次数或者超出图像边界的范围时，这样的特征点应该删除，一般设定迭代次数为5次。

另外，还需要去除一些不稳定的特征点：

极值点取值的绝对值过小的点易受噪声的干扰而变得不稳定，将迭代出的Xhead带入下式：

如果|f(Xhead)|>0.03,则保留该特征点，否则去除。

这些点的特征是：在跨越边缘的方向有较大的主曲率，在与边缘相切的方向主曲率较小

from https://www.bilibili.com/video/BV1Qb411W7cK?p=2

借助2x2Harris矩阵（如上图矩阵）求出主曲率，因D(就是前面的f(x))的主曲率和矩阵H的特征值成正比，令α为较大特征值，β为较小的特征值，则：

矩阵的迹就是α+β，行列式就是α*β，之后，我们通过α/β的值并确定一个阈值来体现那些不好的边缘点，α/β越大，说明这个点越具有边缘效应，就越应该被去掉，所以令α=γβ，则：

以上函数是关于r的增函数,是高中学过的对勾函数，在x>1单增，由于已经假设α是特征值中较大的一个，故r>1，所以单调递增的情况下r 越大，以上函数值就越大，反之，以上函数值越大，r就是越大的，因此我们可以通过已知的Tr(H)和Det(H)去判断r的大小，接下来按照上图所示：

1.如果Det(H)<0,舍去X;

2.如果不满足下式，舍去点X：

到目前为止，我们在高斯差分高斯金字塔中提取的特征点就完成了提纯的步骤，提纯效果如下：

 from https://blog.csdn.net/zddblog/article/details/7521424

步骤3：特征点的方向分配  

对于任一关键点，其梯度的模为：

梯度方向为：

L为关键点所在的尺度空间值

在实际计算时我们常常给邻域内点赋予高斯分布的权值，即离关键点越近的点对关键点可能的影响越大，反之越远的点造成影响越小，超过3σ的点就不计算其影响，在计算时，按Lowe的建议常把σ设为该特征点尺度的1.5倍，即σ=1.5*σ0。

根据梯度直方图，峰值代表了该特征点处邻域梯度的方向，以直方图中最大值作为该特征点A的主方向。如果某角度的梯度幅值和>=峰值的80%，那么就称为该特征点A的辅方向，实际上仅有15％的关键点被赋予多个方向，但可以明显的提高关键点匹配的稳定性。在实际编程实现中，就是把该特征点复制成多份特征点，并将方向值分别赋给这些复制后的特征点，这些点的坐标、尺度等参数同特征点A，但是角度不同。

确定了特征点的方向之后，每个特征点有三个信息(x,y,σ,θ)：位置、尺度、方向。一般用一个带箭头的圆或直接用箭头表示SIFT区域的三个值，中心表示特征点位置，半径表示关键点尺度,箭头表示主方向和辅方向。具有多个方向的关键点可以复制成多份，然后将方向值分别赋给复制后的关键点。如下图：

from https://blog.csdn.net/xiaowei_cqu/article/details/8096072
至此，sift特征点的方向确定完毕，如下图。

 from https://www.bilibili.com/video/BV1Qb411W7cK?p=2

步骤4：生成图像局部描述符 

通过上面三个步骤，我们已经得到了任意关键点的三个信息：位置、尺度以及方向 (x,y,σ,θ)，接下来是对每一个关键点建立一个描述向量，使其不随各种变化而改变，比如光照变化、视角变化等等。

由于我们的关键点的特征是通过关联其邻域求得的，所以邻域的性质也是关键点性质的一部分，所以这个描述子不但包括关键点，也包含关键点周围对其有贡献的像素点。

描述的思路是：对关键点周围像素区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象表述，且具有唯一性。

如下图，对于一个2*2块，对每块的所有像素点的梯度做高斯加权，每块最终取8个方向，即可以生成2*2*8维度的向量，最后以这生成的2*2*8维向量作为中心关键点的数学描述。



确定采样区域：
特征描述子与关键点所在尺度有关，因此对梯度的求取应在特征点对应的高斯图像上进行。将关键点附近划分成d×d个子区域，每个子区域尺寸为mσ个像元（Lowe建议d=4，m=3，σ为尺特征点的尺度值，综合效果最佳）。考虑到实际计算时需要双线性插值，故计算的图像区域为mσ(d+1)，再考虑旋转（将坐标轴旋转为关键点的方向，以确保旋转不变性），则实际计算的图像区域为，如下图所示：

将旋转后关键点附近区域划分为4×4个子区域（每个区域间隔为mσ像元），在子区域内计算8个方向（与求主方向不同，每个子区域梯度方向直方图将0°~360°划分为8个方向区间，每个区间为45°）的梯度直方图，Lowe建议子区域的像素的梯度大小按σ=0.5d=0.5x4=2的高斯加权计算加权计算，绘制每个方向梯度方向的累加值，形成一个种子点，这样每个种子点有8个方向区间的梯度强度信息。

由于存在d×d，即4×4个子区域，所以最终共有4×4×8=128个数据，形成著名的128维SIFT特征矢量，这4*4*8=128个梯度信息即为该关键点的特征向量，在特征向量形成后，为了去除光照变化的影响，还需要对它们进行归一化处理，对于图像灰度值整体漂移，图像各点的梯度是邻域像素相减得到，所以不用担心，已经去除，至此，SIFT特征描述向量生成。

补充一下 

作者：凡古一往 95后普通大学生

梦想成为一个真实、多面、有温度的互联网人

我的其他文章👇

有用的👇

【计算机组成原理】CPU:单周期数据通路（MIPS)

【数字图像处理】平滑空间滤波器浅析

【数字图像处理】 直方图均衡浅析

有趣的👇

我的更多文章，欢迎关注👇