图像分割与修复

图像的分割与修复

图像的分割

图像分割就是将前景物体从背景中分离出来

图像分割方法
	传统的图像分割方法
		分水岭法
		GrabCut法
		MeanShift法
			基于颜色空间分布的方法
		背景扣除
	基于深度学习的图像分割方法
	

分水龄法

处理步揍
	标记背景
	标记前景
	标记未知域
	进行分割

watershaed(img,masker)
	masker:前景，背景设置不同的值用以区分它们

###距离变换
	计算非零值到离他最近的零值的距离
distanceTransform(img,distanceType,maskSize)
	img：输入的图像 ，会扫描这个图像的所有像素找到菲0值查看周边是否有0值然后计算距离
	distanceType：计算从非0值到0值之间的函数
	maskSize：扫描是lernel的大小

###连通域
connectedComponents(img,connectivity,...)
	img :求图像中所有非0元素的连通域
	connectivity：怎么计算连通域(分上下左右)4:四个点 8：8个点

import cv2
import numpy as np

from matplotlib import pyplot as plt


img = cv2.imread('C:\\Users\dazhi\Desktop\-fenshui.png')

###获取背景
#1通过二值法得到黑白图片
#2通过形态学获取背景
img = cv2.imread('C:\\Users\dazhi\Desktop\-fenshui.png')
#灰度化
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
#二值化
####ret执行成功或失败，thresh返回值  100最小值：超过之上设置白色之下保留原始数据
#####cv2.THRESH_OTSU自适应阈值 可以把100设为0
ret,thresh = cv2.threshold(gray,0,255,cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

###开运算 去除噪点
kernel = np.ones((3,3),np.int8)
open1 = cv2.morphologyEx(thresh,cv2.MORPH_OPEN,kernel,iterations=2)

###膨胀
bg = cv2.dilate(open1,kernel,iterations=1)

###获取前景物体
dist = cv2.distanceTransform(open1,cv2.DIST_L2,5)

###通过plt更直观的查看
#####cmap='gray'灰度
# plt.imshow(dist,cmap='gray')
# plt.show()
# exit()

ret,fg = cv2.threshold(dist,0.7*dist.max(),255,cv2.THRESH_BINARY)

###获取位置区域
fg = np.uint8(fg)
unknow = cv2.subtract(bg,fg)

###创建连通域
ret,marker = cv2.connectedComponents(fg)

marker = marker +1
marker[unknow == 255] = 0

###进行图像分割
result = cv2.watershed(img,marker)
img[result == -1] = [0,0,255]

cv2.imshow("img",img)


cv2.imshow('nuknow',unknow)


cv2.imshow('fg',fg)
cv2.imshow("bg",bg)
cv2.imshow("thresh",thresh)
cv2.waitKey(0)

GrabCut

通过交互的方式获得前景物体

原理
	用户指定前景的大体区域，剩下的为背景区域
	用户还可以明确指定某些地方为前景或背景
	GrabCut采用分段迭代的方法分析前景物体形成模型树
	最后根据权重决定某个像素是前景还是背景

	主题结构
	鼠标事件的处理
	调用GrabCut实现前景与背景的分离
	

###主体程序的实现
###定义两个方法 调用窗口 调用run方法 绑定onmouse窗口

import cv2
import numpy as np

class App:
    ###主流程
    def onmouse(self,event,x,y,flags,param):
        print("onmouse")

    ###对鼠标进行控制

    def run(self):
        print("run...")

        cv2.namedWindow('input')
        ####绑定onmouse窗口
        cv2.setMouseCallback('input',self.onmouse)

        img = cv2.imread('C:\\Users\dazhi\Desktop\-fenshui.png')
        cv2.imshow('input',img)
        cv2.waitKey(0)

###调用run方法
App().run() 

###添加鼠标事件
 
import cv2
import numpy as np

class App:
    ###主流程
    startX = 0
    startY = 0
    flag_rect = False
    def onmouse(self,event,x,y,flags,param):
        ###判断事件能否触发
        if event == cv2.EVENT_LBUTTONDOWN:
            ###当左键按下为True
            self.flag_rect = True
            self.startX = x
            self.startY = y
            print('LBUTTONDOWN')
        elif event == cv2.EVENT_LBUTTONUP:
            ####self.startX,self.startY起始点
            ####(x,y)终止点
            self.flag_rect = False
            cv2.rectangle(self.img,
                          (self.startX,self.startY),
                          (x,y),
                          (0,0,255),3)

            print('LBUTTONUP')
        elif event == cv2.EVENT_MOUSEMOVE:
            ###实现滑动的时候进行框选
            if self.flag_rect == True:

                ###每次都从原始的数据中拷贝一份，每次执行对信图进行绘制
                self.img = self.img2.copy()
                cv2.rectangle(self.img,
                            (self.startX,self.startY),
                            (x,y),
                            (255,0,0),3)
             
            print('MOUSEMOVE')
        print("onmouse")

    ###对鼠标进行控制

    def run(self):
        print("run...")

        cv2.namedWindow('input')
        ####绑定onmouse窗口
        cv2.setMouseCallback('input',self.onmouse)

        self.img = cv2.imread('C:\\Users\dazhi\Desktop\-fenshui.png')
        ###对img进行保存 保存原始的数据
        self.img2 = self.img.copy()
        ###此处while作用是不断刷新 目的是显示所画的框
        while(1):
            cv2.imshow('input',self.img)
            k = cv2.waitKey(100)

            if k == 27:
                break

###调用run方法
App().run() 

###进行图像分割
grabCut(img,mask,rect,bgdModel,fgdModel,5)

	mask分割之后产生的掩码是多少，拿到掩码后就可以将分割后的图像摘取出来
		0： 背景 1： 前景 2：可能是背景  3：可能是前景
	rect 区域 选取一张图的某个区域的时候会有起点和大小 通过鼠标选取的区域
		
	bgdModel,fgdModel背景和前景的model
	5 次数
	
import cv2
import numpy as np

class App:
    ###主流程
    startX = 0
    startY = 0
    flag_rect = False
    rect = (0,0,0,0)
    def onmouse(self,event,x,y,flags,param):
        ###判断事件能否触发
        if event == cv2.EVENT_LBUTTONDOWN:
            ###当左键按下为True
            self.flag_rect = True
            self.startX = x
            self.startY = y
            print('LBUTTONDOWN')
        elif event == cv2.EVENT_LBUTTONUP:
            ####self.startX,self.startY起始点
            ####(x,y)终止点
            self.flag_rect = False
            cv2.rectangle(self.img,
                          (self.startX,self.startY),
                          (x,y),
                          (0,0,255),3)
            ###起点 宽和高
            self.rect = (min(self.startX,x),min(self.startY,y),
                      abs(self.startX - x),
                      abs(self.startY -y))

            print('LBUTTONUP')
        elif event == cv2.EVENT_MOUSEMOVE: 
            ###实现滑动的时候进行框选
            if self.flag_rect == True:

                ###每次都从原始的数据中拷贝一份，每次执行对信图进行绘制
                self.img = self.img2.copy()
                cv2.rectangle(self.img,
                            (self.startX,self.startY),
                            (x,y),
                            (255,0,0),3)
             
            print('MOUSEMOVE')
        print("onmouse")

    ###对鼠标进行控制

    def run(self):
        print("run...")

        cv2.namedWindow('input')
        ####绑定onmouse窗口
        cv2.setMouseCallback('input',self.onmouse)

        self.img = cv2.imread('C:\\Users\dazhi\Desktop\-fenshui.png')
        ###对img进行保存 保存原始的数据
        self.img2 = self.img.copy()

        ###[:2]取前两个值
        self.mask = np.zeros(self.img.shape[:2],dtype=np.uint8)

        self.output = np.zeros(self.img.shape,np.uint8)
        ###此处while作用是不断刷新 目的是显示所画的框
        while(1):
            cv2.imshow('input',self.img)
            cv2.imshow('output',self.output)
            k = cv2.waitKey(100)

            if k == 27:
                break

            if k == ord('g'):

                bgdmodel = np.zeros((1,65),np.float64)
                fgdmodel = np.zeros((1,65),np.float64)
                cv2.grabCut(self.img2,self.mask,self.rect,
                            bgdmodel,fgdmodel,1,
                            cv2.GC_INIT_WITH_RECT)
            mask2 = np.where((self.mask == 1)|(self.mask == 3),255,0).astype('uint8')
            self.output = cv2.bitwise_and(self.img2,self.img2,mask=mask2)


###调用run方法
App().run() 



####后续未完成 指定前景(使用鼠标在一块区域画 就被指定为前景 分割出来)

meanshift

严格来说该方法并不是用来对图像进行分割的，而是在色彩层面的平滑滤波
他会中和色彩分布相近的颜色，平滑色彩细节，侵蚀掉面积较小的颜色区域
以图像上任一点p为圆心，半径为sp 色彩幅值为sr进行不断的迭代

pyrMeanShiftFiltering(img,double sp,double sr)
	double sp 双精度半径 半径越大模糊度越高 
	double sr 色彩幅值变换范围 变化越大连成一片的区域可能性就越大
	
import cv2
import numpy as np

img = cv2.imread('C:\\Users\dazhi\Desktop\meashift.png')

mean_img = cv2.pyrMeanShiftFiltering(img,20,30)

imgcanny = cv2.Canny(mean_img,150,300)

###提取分割的前景
contours,_=cv2.findContours(imgcanny,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)

cv2.drawContours(img,contours,-1,(0,0,255),2)

cv2.imshow('canny',imgcanny)

cv2.imshow('img',img)
cv2.imshow('mean_img',mean_img)
cv2.waitKey(0)

背景抠图

原理
	视频是一组连续的帧组成(一幅幅图组成) 
	帧与帧之间关系密切(GOP)
	在GOP中背景几乎是不变的
MOG取背景
	混合高斯模型为基础的前景/背景分割算法

	history ：默认200 建模时需要多长时间的参考帧
	nmixtures 高斯范围值 默认5
	backgroundRatio 背景比率 默认0.7
	nosizeSigma 默认0 自动降噪
import cv2
import numpy as numpy

cap = cv2.VideoCapture("C://Users/dazhi/Desktop/opencv/video.mp4")

mog = cv2.bgsegm.createBackgroundSubtractorMOG()

while(True):
    ret,frame = cap.read()
    fgmask = mog.apply(frame)

    cv2.imshow('img',fgmask)

    k = cv2.waitKey(10)
    if k ==27:
        break
cap.release()
cv2.destroyAllWindows()

###mog2
###gmg
import cv2
import numpy as numpy

cap = cv2.VideoCapture("C://Users/dazhi/Desktop/opencv/video.mp4")

# mog = cv2.bgsegm.createBackgroundSubtractorMOG()

###mog2
####好处 可以计算出阴影部分
####缺点：会产生很多噪点
# mog = cv2.createBackgroundSubtractorMOG2()

####
####好处 可以计算出阴影部分，同时减少噪点
####缺点 若采用默认值，则在开始好长时间内没有任何信息显示
###解决办法 调整初始参考帧数量
mog = cv2.bgsegm.createBackgroundSubtractorGMG(10)
while(True):
    ret,frame = cap.read()
    fgmask = mog.apply(frame)

    cv2.imshow('img',fgmask)

    k = cv2.waitKey(10)
    if k ==27:
        break
cap.release()
cv2.destroyAllWindows()

图像修复

inpaint(img,mask,inpaintRadius,flags)
	inpaintRadius:修复的半径 每个点的圆形邻域半径
	
import cv2
import numpy as np

img = cv2.imread('xiufu.png')


###掩码图像 可通过鼠标选取获取范围
mask = cv2.imread('xiufu02.png',0)

# print(img.shape)
# exit()
img = cv2.resize(img,(594,628))
mask = cv2.resize(mask,(594,628),0)

dst = cv2.inpaint(img, mask, 5, cv2.INPAINT_TELEA)

# print(dst.shape)
# exit()
cv2.imshow('img',img)
cv2.imshow('dst',dst)
cv2.imshow('mask',mask)
cv2.waitKey()