Distinctive Image Features from Scale-Invariant Keypoints 论文解读
Distinctive Image Features from Scale-Invariant Keypoints 论文解读
著名的SIFT local feature提取方法
Scale-space extrema detection
初步筛查出keypoints
$L(x,y,\sigma) = G(x,y,\sigma)*I(x,y)$
其中 $G(x,y,\sigma)=\frac{1}{2\pi\sigma2}e{-(x2+y2)/2\sigma^2}$是高斯函数，$I(x,y)$是输入图片，$*$是卷积
difference-of-Gaussian:
$D(x,y,\sigma)=(G(x,y,k\sigma)-G(x,y,\sigma))*I(x,y)=L(x,y,k\sigma)-L(x,y,\sigma)$
其中k是常数
每个octave中$\sigma$从下到上成等比数列（$\sigma$定义如上面的式子），相差k
上面的octave是下面的进行down sampling变成的1/2大小的图片，从而在不同scale提取
然后找DOG中极值
一个点比上下左右这些点都大或都小，就是极值。
Keypoint localization
下一步确定location, scale和ratio of principal，并筛去一些low contrast或poorly localized along an edge的点，找原图上对应的点的位置
$D(x)=D+\frac{\partial D^T}{\partial x}x+\frac 1 2 xT\frac{\partial2D}{\partial x^2}x$ （2）
其中D和它的导数是在sample point的值，$x = (x,y,\sigma)^T$是相对于sample point的offset
令（2）的导数为0，得出极值点：
$\hat x = -\frac{\partial^2D}{\partial x2}\frac{\partial D}{\partial x}$
代入（2）
$D(\hat x)=D+\frac 1 2 \frac{\partial D^T}{\partial x}\hat x$
如果$|D(\hat x)|$小于某个值，说明这个点不明显，要舍去
$H=\begin{bmatrix}D_{xx}&D_{xy}\D_{xy}&D_{yy}\end{bmatrix}$
$D_{xx}$等是二阶偏微分，求H的特征值，如果两个特征值相差太大，说明是poorly localized along an edge，这时要舍去。
设特征值$\alpha$, $\beta$. 设$\alpha=r\beta$, r>1
$\frac{Tr(H)^2}{Det(H)} = \frac{\alpha+\beta}{\alpha\beta}=\frac{(r\beta+\beta)2}{r\beta2}=\frac{(r+1)^2}{r}$
Tr为迹，Det为行列式
所以要r小于某个值$r_0$,只要确认
$\frac{Tr(H)2}{Det(H)}<\frac{(r_0+1)2}{r_0}$
Orientation assignment
确认方向orientation，使用L的gradient的近似，大小为$m(x,y)$, 方向为$\theta(x,y)$
$m(x,y)=\sqrt{(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2}$
$\theta(x,y)=\tan^{-1}((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))$
在sample point周围一定大小的区域求这个值，然后把$\theta$画在直方图里，直方图最大值作为这个点方向，如果几个最大值接近，就几个方向都保留
Keypoint descriptor
在keypoint descriptor周围区域计算sample point的gradient magnitude和orientation，用Gaussian window加权，然后计入方向直方图，结果直观如右图所示，其中箭头长度表示那个方向的gradient magnitude求和，也就是说，上图有2x2=4个直方图，每个直方图有8个值，所以一共是4x8=32个值，也就是说descriptor vector有32维（实际最好维4x4x8=128维）
至此就有了local descriptor的location, scale, orientation和descriptor vector，就可以用这些特征来区分图像了！
