SIFT特征匹配处理

一、SIFT算法特征原理

SIFT即尺度不变特征转换，它用来检测图像的局部性特征，在空间尺度中寻找极值点，提取这点的位置、尺度、旋转不变量。这些关键点是一些十分突出，不会因光照和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等，所以与影像的大小和旋转无关，对光线、噪声、视角改变的容忍度也很高。

       SIFT特征检测有四步：

1.尺度空间的极值检测：搜索所有尺度空间上的图像，通过高斯微分函数来识别潜在的对尺度和选择不变的兴趣点。

2.特征点定位：在每个候选的位置上，通过一个拟合精细模型来确定位置尺度，关键点的选取依据他们的稳定程度。

3.特征方向赋值：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，后续的所有操作都是对于关键点的方向、尺度和位置进行变换，从而提供这些特征的不变性。

4.特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像的局部梯度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变换。

 

二、SIFT特征匹配处理

　　对两张图片进行SIFT特征匹配处理

　　　　1.两张差异较大的集美大学尚大楼

　　　　　　原图:

      　　　　                    

                                  　　　　     图1                                 　　                图2

 

　　　　　　SIFT特征匹配：

　　　　　　

                                                               　　　　　　图3

 

　　　　2. 两张差异较小的集美大学尚大楼

      　　　　 原图：

　　　　　　   

                       　　　　　　　　图4                                                       图5

 

 

　　　　　　SIFT特征匹配：

　　　　　　

 代码：

import io
from PIL import Image, ImageTk
import tkinter as tk

import cv2
import numpy as np
MIN_MATCH_COUNT = 4

img1 = cv2.imread("C:/Users/w/PycharmProjects/sift/picture/1.jpg")
img2 = cv2.imread("C:/Users/w/PycharmProjects/sift/picture/16.jpg")
g1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
g2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
sift = cv2.xfeatures2d.SIFT_create()
match = cv2.FlannBasedMatcher(dict(algorithm =2, trees =1), {})
kp1, de1 = sift.detectAndCompute(g1,None)
kp2, de2 = sift.detectAndCompute(g2,None)
m = match.knnMatch(de1, de2, 2)
m = sorted(m,key = lambda x:x[0].distance)
ok = [m1 for (m1, m2) in m if m1.distance < 0.7 * m2.distance]
 med = cv2.drawMatches(img1, kp1, img2, kp2, ok, None)

cv2.imwrite("C:/Users/w/PycharmProjects/sift/picture/b.jpg", med)
#
# cv2.imshow("0", med)
# cv2.waitKey()
# cv2.destroyAllWindows()


def resize(w, h, w_box, h_box, pil_image):
    f1 = 1.0 * w_box / w  # 1.0 forces float division in Python2
    f2 = 1.0 * h_box / h
    factor = min([f1, f2])
    width = int(w * factor)
    height = int(h * factor)
    return pil_image.resize((width, height), Image.ANTIALIAS)

root = tk.Tk()
# size of image display box you want
# 期望图像显示的大小
w_box = 800
h_box = 1000

# 以一个PIL图像对象打开
pil_image = Image.open(r'C:/Users/w/PycharmProjects/sift/picture/b.jpg')

# get the size of the image
# 获取图像的原始大小
w, h = pil_image.size

# resize the image so it retains its aspect ration
# but fits into the specified display box
# 缩放图像让它保持比例，同时限制在一个矩形框范围内
pil_image_resized = resize(w, h, w_box, h_box, pil_image)

# convert PIL image object to Tkinter PhotoImage object
# 把PIL图像对象转变为Tkinter的PhotoImage对象
tk_image = ImageTk.PhotoImage(pil_image_resized)

# put the image on a widget the size of the specified display box
# Label: 这个小工具，就是个显示框，小窗口，把图像大小显示到指定的显示框
label = tk.Label(root, image=tk_image, width=w_box, height=h_box)
# padx,pady是图像与窗口边缘的距离
label.pack(padx=5, pady=5)
root.mainloop()

三、SIFT和Harris特征匹配处理的对比 

　　例如，下图是福建省厦门市集美大学的尚大楼的图片：

　　　　　　　　

用sift算法和Harris算法找到关键点并绘制关键点：　　

　　　　　　　　        

　　　　　　　　　　　　　　　　SIFT算法　　　　　　　　　　　　　　　　　　　       Harris算法

SIFT代码：

import cv2
import numpy as np

img = cv2.imread('C:/Users/w/PycharmProjects/untitled2/11.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
sift = cv2.xfeatures2d.SIFT_create()

kp = sift.detect(gray, None)  # 找到关键点

img = cv2.drawKeypoints(gray, kp, img)  # 绘制关键点

cv2.imshow('sp', img)
cv2.waitKey(0)

Harris代码：

import cv2
import numpy as np

filename = 'C:/Users/w/PycharmProjects/sift/picture/11.jpg'

img = cv2.imread(filename)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
gray = np.float32(gray)
#图像转换为float32
dst = cv2.cornerHarris(gray,2,3,0.04)
#result is dilated for marking the corners, not important
dst = cv2.dilate(dst,None)#图像膨胀
# Threshold for an optimal value, it may vary depending on the image.
#print(dst)
#img[dst>0.00000001*dst.max()]=[0,0,255] #可以试试这个参数，角点被标记的多余了一些
img[dst>0.01*dst.max()]=[0,0,255]#角点位置用红色标记
#这里的打分值以大于0.01×dst中最大值为边界

cv2.imshow('dst',img)
if cv2.waitKey(0) & 0xff == 27:
    cv2.destroyAllWindows()

 　　SIFT特征检测：SIFT从理论上说是一种相似不变量，即对图像尺度变化和旋转是不变量。然而，由于构造SIFT特征时，在很多细节上进行了特殊处理，使得SIFT对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高。如：
　　（1）在多尺度空间采用DOG算子检测关键点，相比传统的基于LOG算子的检测方法，运算速度大大加快；
　　（2）关键点的精确定位不仅提高了精度，而且大大提高了关键点的稳定性；
　　（3）在构造描述子时，以子区域的统计特性，而不是以单个像素作为研究对象，提高了对图像局部变形的适应能力；

　　Harris特征检测：在计算机视觉中，通常需要找出两帧图像的匹配点，如果能找到两幅图像如何相关，就能提取出两幅图像的信息。我们说的特征的最大特点就是它具有唯一可识别这一特点，图像特征的类型通常指边界、角点（兴趣点）、斑点（兴趣区域）。角点就是图像的一个局部特征，应用广泛。harris角点检测是一种直接基于灰度图像的角点提取算法，稳定性高，尤其对L型角点检测精度高，但由于采用了高斯滤波，运算速度相对较慢，角点信息有丢失和位置偏移的现象，而且角点提取有聚簇现象。

四、遇到的问题：报错：Read timed out

1.先下载opencv-python3.4.2.16，

直接在CMD命令窗口里输入: pip install opencv-python==3.4.2.16

如果在安装时报错：

pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out.

那就在命令窗口里输入:

pip install opencv-python==3.4.2.16 --default-timeout=1000

下载成功：

 

2.再下载opencv-contrib-python3.4.2.16，

输入：

pip install opencv-contrib-python==3.4.2.16 --default-timeout=1000

下载成功：