人机交互多边形分割

原文链接：https://blog.csdn.net/lyxleft/article/details/90675666

一、简介

　　在图像分割领域，一个重要任务便是分割出感兴趣（ROI）区域。如果是简易的矩形ROI区域其实是非常容易分割的，opencv的官方python教程里也有教到最简易的矩形ROI分割（剪裁），其本质是多维数组（矩阵）的切片。但是现实情况中，ROI是不规则的多边形，也可能是曲线边界。本文利用python+opencv来分割不规则ROI区域。

二、方法介绍

1 已知边界坐标，直接画出多边形

# 定义四个顶点坐标
pts = np.array([[10, 5],  [50, 10], [70, 20], [20, 30]], np.int32)
# 顶点个数：4，矩阵变成4*1*2维
# OpenCV中需要将多边形的顶点坐标变成顶点数×1×2维的矩阵
# 这里 reshape 的第一个参数为-1, 表示“任意”，意思是这一维的值是根据后面的维度的计算出来的
pts = pts.reshape((-1, 1, 2))
cv2.polylines(img, [pts], True, (0, 255, 255))

　　上例中，img是你的画布原图。pts你可以随便改，改成自己的边界点。注意cv2.polylines中参数pts要加[ ]。

2 人机交互式

　　用鼠标点击，产生多边形。

　　这样是比较精确的，比较是人工操作，但是比较麻烦，如果有上万张图片，你不可能每张都自己鼠标去分割出来一下。但是这个方法可以用于获取ROI的ground-truth，然后用来和机器分割的结果做对比，计算准确率、召回率等评价指标！所以学一下还是有用的。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Wed May 29 19:18:28 2019
@author: youxinlin
"""

import cv2
import numpy as np

# -----------------------鼠标操作相关------------------------------------------
lsPointsChoose = []
tpPointsChoose = []
pointsCount = 0
count = 0
pointsMax = 6


def on_mouse(event, x, y, flags, param):
    global img, point1, point2, count, pointsMax
    global lsPointsChoose, tpPointsChoose  # 存入选择的点
    global pointsCount  # 对鼠标按下的点计数
    global img2, ROI_bymouse_flag
    img2 = img.copy()  # 此行代码保证每次都重新再原图画  避免画多了
    # -----------------------------------------------------------
    #    count=count+1
    #    print("callback_count",count)
    # --------------------------------------------------------------

    if event == cv2.EVENT_LBUTTONDOWN:  # 左键点击
        pointsCount = pointsCount + 1
        # 感觉这里没有用？2018年8月25日20:06:42
        # 为了保存绘制的区域，画的点稍晚清零
        # if (pointsCount == pointsMax + 1):
        #     pointsCount = 0
        #     tpPointsChoose = []
        print('pointsCount:', pointsCount)
        point1 = (x, y)
        print(x, y)
        # 画出点击的点
        cv2.circle(img2, point1, 10, (0, 255, 0), 2)

        # 将选取的点保存到list列表里
        lsPointsChoose.append([x, y])  # 用于转化为darry 提取多边形ROI
        tpPointsChoose.append((x, y))  # 用于画点
        # ----------------------------------------------------------------------
        # 将鼠标选的点用直线连起来
        print(len(tpPointsChoose))
        for i in range(len(tpPointsChoose) - 1):
            print('i', i)
            cv2.line(img2, tpPointsChoose[i], tpPointsChoose[i + 1], (0, 0, 255), 2)
        # ----------------------------------------------------------------------
        # ----------点击到pointMax时可以提取去绘图----------------

        cv2.imshow('src', img2)

    # -------------------------右键按下清除轨迹-----------------------------
    if event == cv2.EVENT_RBUTTONDOWN:  # 右键点击
        print("right-mouse")
        pointsCount = 0
        tpPointsChoose = []
        lsPointsChoose = []
        print(len(tpPointsChoose))
        for i in range(len(tpPointsChoose) - 1):
            print('i', i)
            cv2.line(img2, tpPointsChoose[i], tpPointsChoose[i + 1], (0, 0, 255), 2)
        cv2.imshow('src', img2)

    # -------------------------双击 结束选取-----------------------------
    if event == cv2.EVENT_LBUTTONDBLCLK:
        # -----------绘制感兴趣区域-----------
        ROI_byMouse()
        ROI_bymouse_flag = 1
        lsPointsChoose = []


def ROI_byMouse():
    global src, ROI, ROI_flag, mask2
    mask = np.zeros(img.shape, np.uint8)
    pts = np.array([lsPointsChoose], np.int32)  # pts是多边形的顶点列表（顶点集）
    pts = pts.reshape((-1, 1, 2))
    # 这里 reshape 的第一个参数为-1, 表明这一维的长度是根据后面的维度的计算出来的。
    # OpenCV中需要先将多边形的顶点坐标变成顶点数×1×2维的矩阵，再来绘制

    # --------------画多边形---------------------
    mask2 = cv2.fillPoly(mask, [pts], (255, 255, 255))
    cv2.imshow('mask', mask2)
    cv2.imwrite('mask.jpg', mask2)
    contours, hierarchy = cv2.findContours(cv2.cvtColor(mask2, cv2.COLOR_BGR2GRAY), cv2.RETR_TREE,
                                                  cv2.CHAIN_APPROX_NONE)
    ROIarea = cv2.contourArea(contours[0])
    print("ROIarea:", ROIarea)
    ROI = cv2.bitwise_and(mask2, img)
    cv2.imwrite('ROI.jpg', ROI)
    cv2.imshow('ROI', ROI)

img = cv2.imread('test.jpg')
# ---------------------------------------------------------
# --图像预处理，设置其大小
# height, width = img.shape[:2]
# size = (int(width * 0.3), int(height * 0.3))
# img = cv2.resize(img, size, interpolation=cv2.INTER_AREA)
# ------------------------------------------------------------
ROI = img.copy()
cv2.namedWindow('src')
cv2.setMouseCallback('src', on_mouse)
cv2.imshow('src', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

附：鼠标点击事件 ：

'''
EVENT_FLAG_ALTKEY = 32        摁住Alt
EVENT_FLAG_CTRLKEY = 8        摁住Ctrl
EVENT_FLAG_LBUTTON = 1        摁住左键
EVENT_FLAG_MBUTTON = 4        摁住中键
EVENT_FLAG_RBUTTON = 2        摁住右键
EVENT_FLAG_SHIFTKEY = 16    摁住Shift
EVENT_LBUTTONDBLCLK = 7        左键双击
EVENT_LBUTTONDOWN = 1        左键击下
EVENT_LBUTTONUP = 4            左键弹起
EVENT_MBUTTONDBLCLK = 9        中键双击
EVENT_MBUTTONDOWN = 3        中键击下
EVENT_MBUTTONUP = 6            中键弹起
EVENT_MOUSEHWHEEL = 11        滚动条向左，flags>0。向右，flags<0
EVENT_MOUSEMOVE = 0            鼠标移动
EVENT_MOUSEWHEEL = 10        滚动条向上，flags>0。向下，flags<0
EVENT_RBUTTONDBLCLK = 8        中键双击
EVENT_RBUTTONDOWN = 2        中键击下
EVENT_RBUTTONUP = 5            中键弹起
'''