Harris 角点检测

一 、Motivation

对于做图像处理的人来说，Harris角点检测肯定听过，1988年发表的文章“A combined corner and edge detector”描述了这种角点检测方法，这篇论文朴实无华，对于图像处理入门来说，非常值得读一读。

Harris角点检测的提出是图像匹配问题的需求，在立体视觉（stereo vision)和运动估计（motion estimation）中，常常需要在两个view（立体视觉）或者同一视频的两帧（运动估计）中找到对应的特征（correspondence feature），如下图1.1所示。

                           图 1.1

 

以patch matching 为例，若在两个view中提取出来的patch 如下图1.2，那么匹配两幅图中相似的patch是比较容易的，

                         图 1.2

而如果两个view中提取出来的patch如下图1.3，那么匹配就不那么容易了，

                        图 1.3

为什么呢？因为图1.2中的patch很独特，信息丰富，图1.3 中的patch单独看来毫无特点，极易混淆。我们称图1.2中的特征为“好特征”，图1.3中的特征是”坏特征“。

那么什么是好特征，什么是坏特征？我认为有两个要考虑的：1 稳定，对缩放，视角变换，光线变化等稳定 2.易区分 。

角点就具有这样的特征，角点如何描述，请看图1.4，

                   图1.4

上图具体解释是这样的，给定一个窗口，如果包含角点，那么这个窗口平移（u，v）个单位，不管这个平移是往哪个方向，窗口中像素对应位置的变化都比较大，而如果包含的是一条边缘，在沿着边缘平移窗口时，窗口中像素强度变化基本没有，而垂直于边缘移动时，变化强烈，对于平坦区域，怎么移动都没有多大变化，当然，这里的平移都是小范围平移。

 

二、Mathematics representation

 

数学描述这种强度变化如下图2.1.

 

                              图2.1

可以看到，这个公式表示往各个方向移动时强度变化的累加和，控制w就可以控制平移后强度累加的方式。

然后用一级泰勒展开近似I(x+u,y+v)-I(x,y)，并将上图的公式用矩阵的形式表达出来，有：

                             图2.2

最后 E(u,v) 可以表示为:

                        图 2.3

 

注意到此时M是对称矩阵，可以表示为M = Q A Q^T 的形式 ，A 为对角矩阵，因此，对角中即为M的特征值，因此，一定要M的2个特征值都比较大才能保证E总是很大。

实际计算过程中，用高斯核来表示w(x,y).

Harris 角点检测的过程如下：

                                图2.4

需要注意的是，求微分图像和第三步的W矩阵都是可以调节或者换成其他形式的，W换成高斯核主要是利用了它各项同性的性质。

三、implementation

最终matlab代码（转自网上）实现如下：

% Harris detector
% The code calculates
% the Harris Feature Points(FP)
%
% When u execute the code, the test image file opened
% and u have to select by the mouse the region where u
% want to find the Harris points,
% then the code will print out and display the feature
% points in the selected region.
% You can select the number of FPs by changing the variables
% max_N & min_N
% A. Ganoun

load Imag

I =double(frame);
%****************************
imshow(frame);
k = waitforbuttonpress;
point1 = get(gca,'CurrentPoint');  %button down detected
rectregion = rbbox;  %%%return figure units
point2 = get(gca,'CurrentPoint');%%%%button up detected
point1 = point1(1,1:2); %%% extract col/row min and maxs
point2 = point2(1,1:2);
lowerleft = min(point1, point2);
upperright = max(point1, point2);
ymin = round(lowerleft(1)); %%% arrondissement aux nombrs les plus proches
ymax = round(upperright(1));
xmin = round(lowerleft(2));
xmax = round(upperright(2));
%***********************************
Aj=6;
cmin=xmin-Aj; cmax=xmax+Aj; rmin=ymin-Aj; rmax=ymax+Aj;
min_N=12;max_N=16;
%%%%%%%%%%%%%%Intrest Points %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
sigma=2; Thrshold=20; r=6; disp=1;
dx = [-1 0 1; -1 0 1; -1 0 1]; % The Mask
    dy = dx';
    %%%%%%
    Ix = conv2(I(cmin:cmax,rmin:rmax), dx, 'same');
    Iy = conv2(I(cmin:cmax,rmin:rmax), dy, 'same');
    g = fspecial('gaussian',max(1,fix(6*sigma)), sigma); %%%%%% Gaussien Filter

    %%%%%
    Ix2 = conv2(Ix.^2, g, 'same');
    Iy2 = conv2(Iy.^2, g, 'same');
    Ixy = conv2(Ix.*Iy, g,'same');
    %%%%%%%%%%%%%%
    k = 0.04;
    R11 = (Ix2.*Iy2 - Ixy.^2) - k*(Ix2 + Iy2).^2;
    R11=(1000/max(max(R11)))*R11;
    R=R11;
    ma=max(max(R));
    sze = 2*r+1;
    MX = ordfilt2(R,sze^2,ones(sze));
    R11 = (R==MX)&(R>Thrshold);
    count=sum(sum(R11(5:size(R11,1)-5,5:size(R11,2)-5)));

    figure;plot(R11);
    loop=0;
    while (((count<min_N)|(count>max_N))&(loop<30))
        if count>max_N
            Thrshold=Thrshold*1.5;
        elseif count < min_N
            Thrshold=Thrshold*0.5;
        end

        R11 = (R==MX)&(R>Thrshold);
        count=sum(sum(R11(5:size(R11,1)-5,5:size(R11,2)-5)));
        loop=loop+1;
    end


    R=R*0;
    R(5:size(R11,1)-5,5:size(R11,2)-5)=R11(5:size(R11,1)-5,5:size(R11,2)-5);
    [r1,c1] = find(R);
    PIP=[r1+cmin,c1+rmin];%% IP


   %%%%%%%%%%%%%%%%%%%% Display

   Size_PI=size(PIP,1);
   for r=1: Size_PI
   I(PIP(r,1)-2:PIP(r,1)+2,PIP(r,2)-2)=255;
   I(PIP(r,1)-2:PIP(r,1)+2,PIP(r,2)+2)=255;
   I(PIP(r,1)-2,PIP(r,2)-2:PIP(r,2)+2)=255;
   I(PIP(r,1)+2,PIP(r,2)-2:PIP(r,2)+2)=255;

   end

   imshow(uint8(I))