图像分割(Image Segmentation)
作者：王先荣
前言
图像分割指的是将数字图像细分为多个图像子区域的过程，在OpenCv中实现了三种跟图像分割相关的算法，它们分别是：分水岭分割算法、金字塔分割算法以及均值漂移分割算法。它们的使用过程都很简单，下面的文章权且用于记录，并使该系列保持完整吧。
分水岭分割算法
分水岭分割算法需要您或者先前算法提供标记，该标记用于指定哪些大致区域是目标，哪些大致区域是背景等等；分水岭分割算法的分割效果严重依赖于提供的标记。OpenCv中的函数cvWatershed实现了该算法，函数定义如下：
void cvWatershed(const CvArr * image, CvArr * markers)
其中：image为8为三通道的彩色图像；
markers是单通道整型图像，它用不同的正整数来标记不同的区域，下面的代码演示了如果响应鼠标事件，并生成标记图像。
生成标记图像
//当鼠标按下并在源图像上移动时，在源图像上绘制分割线条
private void pbSource_MouseMove(object sender, MouseEventArgs e)
{
//如果按下了左键
if (e.Button == MouseButtons.Left)
{
if (previousMouseLocation.X >= 0 && previousMouseLocation.Y >= 0)
{
Point p1 = new Point((int)(previousMouseLocation.X * xScale), (int)(previousMouseLocation.Y * yScale));
Point p2 = new Point((int)(e.Location.X * xScale), (int)(e.Location.Y * yScale));
LineSegment2D ls = new LineSegment2D(p1, p2);
int thickness = (int)(LineWidth * xScale);
imageSourceClone.Draw(ls, new Bgr(255d, 255d, 255d), thickness);
pbSource.Image = imageSourceClone.Bitmap;
imageMarkers.Draw(ls, new Gray(drawCount), thickness);
}
previousMouseLocation = e.Location;
}
}
//当松开鼠标左键时，将绘图的前一位置设置为（-1，-1）
private void pbSource_MouseUp(object sender, MouseEventArgs e)
{
previousMouseLocation = new Point(-1, -1);
drawCount++;
}
您可以用类似下面的方式来使用分水岭算法：
使用分水岭分割算法
/// <summary>
/// 分水岭算法图像分割
/// </summary>
/// <returns>返回用时</returns>
private string Watershed()
{
//分水岭算法分割
Image<Gray, Int32> imageMarkers2 = imageMarkers.Copy();
Stopwatch sw = new Stopwatch();
sw.Start();
CvInvoke.cvWatershed(imageSource.Ptr, imageMarkers2.Ptr);
sw.Stop();
//将分割的结果转换到256级灰度图像
pbResult.Image = imageMarkers2.Bitmap;
imageMarkers2.Dispose();
return string.Format("分水岭图像分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
}
金字塔分割算法
金字塔分割算法由cvPrySegmentation所实现，该函数的使用很简单；需要注意的是图像的尺寸以及金字塔的层数，图像的宽度和高度必须能被2整除，能够被2整除的次数决定了金字塔的最大层数。下面的代码演示了如果校验金字塔层数：
校验金字塔分割的金字塔层数
/// <summary>
/// 当改变金字塔分割的参数“金字塔层数”时，对参数进行校验
/// </summary>
/// <param name="sender"></param>
/// <param name="e"></param>
private void txtPSLevel_TextChanged(object sender, EventArgs e)
{
int level = int.Parse(txtPSLevel.Text);
if (level < 1 || imageSource.Width % (int)(Math.Pow(2, level - 1)) != 0 || imageSource.Height % (int)(Math.Pow(2, level - 1)) != 0)
MessageBox.Show(this, "注意：您输入的金字塔层数不符合要求，计算结果可能会无效。", "金字塔层数错误");
}
使用金字塔分割的示例代码如下：
使用金字塔分割算法
/// <summary>
/// 金字塔分割算法
/// </summary>
/// <returns></returns>
private string PrySegmentation()
{
//准备参数
Image<Bgr, Byte> imageDest = new Image<Bgr, byte>(imageSource.Size);
MemStorage storage = new MemStorage();
IntPtr ptrComp = IntPtr.Zero;
int level = int.Parse(txtPSLevel.Text);
double threshold1 = double.Parse(txtPSThreshold1.Text);
double threshold2 = double.Parse(txtPSThreshold2.Text);
//金字塔分割
Stopwatch sw = new Stopwatch();
sw.Start();
CvInvoke.cvPyrSegmentation(imageSource.Ptr, imageDest.Ptr, storage.Ptr, out ptrComp, level, threshold1, threshold2);
sw.Stop();
//显示结果
pbResult.Image = imageDest.Bitmap;
//释放资源
imageDest.Dispose();
storage.Dispose();
return string.Format("金字塔分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
}
均值漂移分割算法
均值漂移分割算法由cvPryMeanShiftFiltering所实现，均值漂移分割的金字塔层数只能介于[1,7]之间，您可以用类似下面的代码来使用它：
使用均值漂移分割算法
/// <summary>
/// 均值漂移分割算法
/// </summary>
/// <returns></returns>
private string PryMeanShiftFiltering()
{
//准备参数
Image<Bgr, Byte> imageDest = new Image<Bgr, byte>(imageSource.Size);
double spatialRadius = double.Parse(txtPMSFSpatialRadius.Text);
double colorRadius = double.Parse(txtPMSFColorRadius.Text);
int maxLevel = int.Parse(txtPMSFNaxLevel.Text);
int maxIter = int.Parse(txtPMSFMaxIter.Text);
double epsilon = double.Parse(txtPMSFEpsilon.Text);
MCvTermCriteria termcrit = new MCvTermCriteria(maxIter, epsilon);
//均值漂移分割
Stopwatch sw = new Stopwatch();
sw.Start();
OpenCvInvoke.cvPyrMeanShiftFiltering(imageSource.Ptr, imageDest.Ptr, spatialRadius, colorRadius, maxLevel, termcrit);
sw.Stop();
//显示结果
pbResult.Image = imageDest.Bitmap;
//释放资源
imageDest.Dispose();
return string.Format("均值漂移分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
}
函数cvPryMeanShiftFiltering在EmguCv中没有实现，我们可以用下面的方式来使用：
调用均值漂移分割
//均值漂移分割
[DllImport("cv200.dll")]
public static extern void cvPyrMeanShiftFiltering(IntPtr src, IntPtr dst, double spatialRadius, double colorRadius, int max_level, MCvTermCriteria termcrit);
分割效果及性能对比
上述三种分割算法的效果如何呢？下面我们以它们的默认参数，对一幅2272x1704大小的图像进行分割。得到的结果如下所示：
图1 分水岭分割算法（左图白色的线条用于标记区域）
图2 金字塔分割算法
图3 均值漂移分割算法
从上面我们可以看出：
（1）分水岭分割算法的分割效果效果最好，均值漂移分割算法次之，而金字塔分割算法的效果最差；
（2）均值漂移分割算法效率最高，分水岭分割算法接近于均值漂移算法，金字塔分割算法需要很长的时间。
值得注意的是分水岭算法对标记很敏感，需要仔细而认真的绘制。
本文的完整代码如下：
本文完整代码
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Diagnostics;
using System.Runtime.InteropServices;
using Emgu.CV;
using Emgu.CV.CvEnum;
using Emgu.CV.Structure;
using Emgu.CV.UI;
namespace ImageProcessLearn
{
public partial class FormImageSegment : Form
{
//成员变量
private string sourceImageFileName = "wky_tms_2272x1704.jpg";//源图像文件名
private Image<Bgr, Byte> imageSource = null; //源图像
private Image<Bgr, Byte> imageSourceClone = null; //源图像的克隆
private Image<Gray, Int32> imageMarkers = null; //标记图像
private double xScale = 1d; //原始图像与PictureBox在x轴方向上的缩放
private double yScale = 1d; //原始图像与PictureBox在y轴方向上的缩放
private Point previousMouseLocation = new Point(-1, -1); //上次绘制线条时，鼠标所处的位置
private const int LineWidth = 5; //绘制线条的宽度
private int drawCount = 1; //用户绘制的线条数目，用于指定线条的颜色
public FormImageSegment()
{
InitializeComponent();
}
//窗体加载时
private void FormImageSegment_Load(object sender, EventArgs e)
{
//设置提示
toolTip.SetToolTip(rbWatershed, "可以在源图像上用鼠标绘制大致分割区域线条，该线条用于分水岭算法");
toolTip.SetToolTip(txtPSLevel, "金字塔层数跟图像尺寸有关，该值只能是图像尺寸被2整除的次数，否则将得出错误结果");
toolTip.SetToolTip(txtPSThreshold1, "建立连接的错误阀值");
toolTip.SetToolTip(txtPSThreshold2, "分割簇的错误阀值");
toolTip.SetToolTip(txtPMSFSpatialRadius, "空间窗的半径");
toolTip.SetToolTip(txtPMSFColorRadius, "色彩窗的半径");
toolTip.SetToolTip(btnClearMarkers, "清除绘制在源图像上，用于分水岭算法的大致分割区域线条");
//加载图像
LoadImage();
}
//当窗体关闭时，释放资源
private void FormImageSegment_FormClosing(object sender, FormClosingEventArgs e)
{
if (imageSource != null)
imageSource.Dispose();
if (imageSourceClone != null)
imageSourceClone.Dispose();
if (imageMarkers != null)
imageMarkers.Dispose();
}
//加载源图像
private void btnLoadImage_Click(object sender, EventArgs e)
{
OpenFileDialog ofd = new OpenFileDialog();
ofd.CheckFileExists = true;
ofd.DefaultExt = "jpg";
ofd.Filter = "图片文件|*.jpg;*.png;*.bmp|所有文件|*.*";
if (ofd.ShowDialog(this) == DialogResult.OK)
{
if (ofd.FileName != "")
{
sourceImageFileName = ofd.FileName;
LoadImage();
}
}
ofd.Dispose();
}
//清除分割线条
private void btnClearMarkers_Click(object sender, EventArgs e)
{
if (imageSourceClone != null)
imageSourceClone.Dispose();
imageSourceClone = imageSource.Copy();
pbSource.Image = imageSourceClone.Bitmap;
imageMarkers.SetZero();
drawCount = 1;
}
//当鼠标按下并在源图像上移动时，在源图像上绘制分割线条
private void pbSource_MouseMove(object sender, MouseEventArgs e)
{
//如果按下了左键
if (e.Button == MouseButtons.Left)
{
if (previousMouseLocation.X >= 0 && previousMouseLocation.Y >= 0)
{
Point p1 = new Point((int)(previousMouseLocation.X * xScale), (int)(previousMouseLocation.Y * yScale));
Point p2 = new Point((int)(e.Location.X * xScale), (int)(e.Location.Y * yScale));
LineSegment2D ls = new LineSegment2D(p1, p2);
int thickness = (int)(LineWidth * xScale);
imageSourceClone.Draw(ls, new Bgr(255d, 255d, 255d), thickness);
pbSource.Image = imageSourceClone.Bitmap;
imageMarkers.Draw(ls, new Gray(drawCount), thickness);
}
previousMouseLocation = e.Location;
}
}
//当松开鼠标左键时，将绘图的前一位置设置为（-1，-1）
private void pbSource_MouseUp(object sender, MouseEventArgs e)
{
previousMouseLocation = new Point(-1, -1);
drawCount++;
}
//加载源图像
private void LoadImage()
{
if (imageSource != null)
imageSource.Dispose();
imageSource = new Image<Bgr, byte>(sourceImageFileName);
if (imageSourceClone != null)
imageSourceClone.Dispose();
imageSourceClone = imageSource.Copy();
pbSource.Image = imageSourceClone.Bitmap;
if (imageMarkers != null)
imageMarkers.Dispose();
imageMarkers = new Image<Gray, Int32>(imageSource.Size);
imageMarkers.SetZero();
xScale = 1d * imageSource.Width / pbSource.Width;
yScale = 1d * imageSource.Height / pbSource.Height;
drawCount = 1;
}
//分割图像
private void btnImageSegment_Click(object sender, EventArgs e)
{
if (rbWatershed.Checked)
txtResult.Text += Watershed();
else if (rbPrySegmentation.Checked)
txtResult.Text += PrySegmentation();
else if (rbPryMeanShiftFiltering.Checked)
txtResult.Text += PryMeanShiftFiltering();
}
/// <summary>
/// 分水岭算法图像分割
/// </summary>
/// <returns>返回用时</returns>
private string Watershed()
{
//分水岭算法分割
Image<Gray, Int32> imageMarkers2 = imageMarkers.Copy();
Stopwatch sw = new Stopwatch();
sw.Start();
CvInvoke.cvWatershed(imageSource.Ptr, imageMarkers2.Ptr);
sw.Stop();
//将分割的结果转换到256级灰度图像
pbResult.Image = imageMarkers2.Bitmap;
imageMarkers2.Dispose();
return string.Format("分水岭图像分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
}
/// <summary>
/// 金字塔分割算法
/// </summary>
/// <returns></returns>
private string PrySegmentation()
{
//准备参数
Image<Bgr, Byte> imageDest = new Image<Bgr, byte>(imageSource.Size);
MemStorage storage = new MemStorage();
IntPtr ptrComp = IntPtr.Zero;
int level = int.Parse(txtPSLevel.Text);
double threshold1 = double.Parse(txtPSThreshold1.Text);
double threshold2 = double.Parse(txtPSThreshold2.Text);
//金字塔分割
Stopwatch sw = new Stopwatch();
sw.Start();
CvInvoke.cvPyrSegmentation(imageSource.Ptr, imageDest.Ptr, storage.Ptr, out ptrComp, level, threshold1, threshold2);
sw.Stop();
//显示结果
pbResult.Image = imageDest.Bitmap;
//释放资源
imageDest.Dispose();
storage.Dispose();
return string.Format("金字塔分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
}
/// <summary>
/// 均值漂移分割算法
/// </summary>
/// <returns></returns>
private string PryMeanShiftFiltering()
{
//准备参数
Image<Bgr, Byte> imageDest = new Image<Bgr, byte>(imageSource.Size);
double spatialRadius = double.Parse(txtPMSFSpatialRadius.Text);
double colorRadius = double.Parse(txtPMSFColorRadius.Text);
int maxLevel = int.Parse(txtPMSFNaxLevel.Text);
int maxIter = int.Parse(txtPMSFMaxIter.Text);
double epsilon = double.Parse(txtPMSFEpsilon.Text);
MCvTermCriteria termcrit = new MCvTermCriteria(maxIter, epsilon);
//均值漂移分割
Stopwatch sw = new Stopwatch();
sw.Start();
OpenCvInvoke.cvPyrMeanShiftFiltering(imageSource.Ptr, imageDest.Ptr, spatialRadius, colorRadius, maxLevel, termcrit);
sw.Stop();
//显示结果
pbResult.Image = imageDest.Bitmap;
//释放资源
imageDest.Dispose();
return string.Format("均值漂移分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
}
/// <summary>
/// 当改变金字塔分割的参数“金字塔层数”时，对参数进行校验
/// </summary>
/// <param name="sender"></param>
/// <param name="e"></param>
private void txtPSLevel_TextChanged(object sender, EventArgs e)
{
int level = int.Parse(txtPSLevel.Text);
if (level < 1 || imageSource.Width % (int)(Math.Pow(2, level - 1)) != 0 || imageSource.Height % (int)(Math.Pow(2, level - 1)) != 0)
MessageBox.Show(this, "注意：您输入的金字塔层数不符合要求，计算结果可能会无效。", "金字塔层数错误");
}
/// <summary>
/// 当改变均值漂移分割的参数“金字塔层数”时，对参数进行校验
/// </summary>
/// <param name="sender"></param>
/// <param name="e"></param>
private void txtPMSFNaxLevel_TextChanged(object sender, EventArgs e)
{
int maxLevel = int.Parse(txtPMSFNaxLevel.Text);
if (maxLevel < 0 || maxLevel > 8)
MessageBox.Show(this, "注意：均值漂移分割的金字塔层数只能在0至8之间。", "金字塔层数错误");
}
}
}
感谢您耐心看完本文，希望对您有所帮助。
