OpenCV简介
什么是OpenCV
OpenCV是Intel®开源计算机视觉库。它由一系列 C 函数和少量 C++ 类构成,实现了图像处理和计算机视觉方面的很多通用算法。
下载OpenCV
http://www.sourceforge.net/projects/opencvlibrary
OpenCV功能
- 图像数据操作(内存分配与释放,图像复制、设定和转换)
- 图像/视频的输入输出(支持文件或摄像头的输入,图像/视频文件的输出)
- 矩阵/向量数据操作及线性代数运算(矩阵乘积、矩阵方程求解、特征值、奇异值分解)
- 支持多种动态数据结构(链表、队列、数据集、树、图)
- 基本图像处理(去噪、边缘检测、角点检测、采样与插值、色彩变换、形态学处理、直方图、图像金字塔结构)
- 结构分析(连通域/分支、轮廓处理、距离转换、图像矩、模板匹配、霍夫变换、多项式逼近、曲线拟合、椭圆拟合、狄劳尼三角化)
- 摄像头定标(寻找和跟踪定标模式、参数定标、基本矩阵估计、单应矩阵估计、立体视觉匹配)
- 运动分析(光流、动作分割、目标跟踪)
- 目标识别(特征方法、HMM模型)
- 基本的GUI(显示图像/视频、键盘/鼠标操作、滑动条)
- 图像标注(直线、曲线、多边形、文本标注)
OpenCV模块
- cv – 核心函数库
- cvaux – 辅助函数库
- cxcore – 数据结构与线性代数库
- highgui – GUI函数库
- ml – 机器学习函数库
OpenCV数据结构
1、图像数据结构
(1) IPL 图像:
<PRE class="brush: cpp; auto-links: true; collapse: false; first-line: 1; gutter: true; html-script: false; light: false; ruler: false; smart-tabs: true; tab-size: 4; toolbar: true;">IplImage |-- int nChannels; // 颜色通道数目 (1,2,3,4) |-- int depth; // 像素的位深: | // IPL_DEPTH_8U, IPL_DEPTH_8S, | // IPL_DEPTH_16U,IPL_DEPTH_16S, | // IPL_DEPTH_32S,IPL_DEPTH_32F, | // IPL_DEPTH_64F |-- int width; // 图像宽度(像素为单位) |-- int height; // 图像高度 |-- char* imageData; // 图像数据指针 | // 注意彩色图像按BGR顺序存储数据 |-- int dataOrder; // 0 - 将像素点不同通道的值交错排在一起,形成单一像素平面 | // 1 - 把所有像素同通道值排在一起,形成若干个通道平面,再把平面排列起来 | // cvCreateImage 只能创建像素交错排列式的图像 |-- int origin; // 0 – 像素原点为左上角, | // 1 – 像素原点为左下角 (Windows bitmaps style) |-- int widthStep; // 相邻行的同列点之间的字节数 |-- int imageSize; // 图像的大小(字节为单位) = height*widthStep |-- struct _IplROI *roi;// 图像的感兴趣区域(ROI). ROI非空时对图像的 | // 处理仅限于ROI区域. |-- char *imageDataOrigin; // 图像数据未对齐时的数据原点指针 | // (需要正确地重新分配图像内存 ) | // (needed for correct image deallocation) |-- int align; // 图像数据的行对齐: 4 or 8 byte alignment | // OpenCV 中无此项,采用widthStep代替 |-- char colorModel[4]; // 颜色模型 – OpenCV中忽略此项</PRE>
2、矩阵与向量
(1) 矩阵:
<PRE class="brush: cpp; auto-links: true; collapse: false; first-line: 1; gutter: true; html-script: false; light: false; ruler: false; smart-tabs: true; tab-size: 4; toolbar: true;">CvMat // 2D 矩阵 |-- int type; // 元素类型 (uchar,short,int,float,double) 与标志 |-- int step; // 整行长度字节数 |-- int rows, cols; // 行、列数 |-- int height, width; // 矩阵高度、宽度,与rows、cols对应 |-- union data; |-- uchar* ptr; // data pointer for an unsigned char matrix |-- short* s; // data pointer for a short matrix |-- int* i; // data pointer for an integer matrix |-- float* fl; // data pointer for a float matrix |-- double* db; // data pointer for a double matrixCvMatND // N-维矩阵 |-- int type; // 元素类型 (uchar,short,int,float,double) 与标志 |-- int dims; // 矩阵维数 |-- union data; | |-- uchar* ptr; // data pointer for an unsigned char matrix | |-- short* s; // data pointer for a short matrix | |-- int* i; // data pointer for an integer matrix | |-- float* fl; // data pointer for a float matrix | |-- double* db; // data pointer for a double matrix | |-- struct dim[]; // 各维信息 |-- size; // 元素数目 |-- step; // 元素间距(字节为单位)CvSparseMat // N-维稀疏矩阵</PRE>
(2) 一般矩阵:
<PRE>CvArr* // 仅作为函数定义的参数使用, // 表明函数可以接受不同类型的矩阵作为参数, // 例如:IplImage*, CvMat* 甚至是 CvSeq*. // 矩阵的类型通过矩阵头的前4个字节信息来确定</PRE>
(3) 标量:
<PRE>CvScalar |-- double val[4]; //4D 向量</PRE> <P>初始化函数: <PRE>CvScalar s = cvScalar(double val0, double val1=0, double val2=0, double val3=0); // Example: CvScalar s = cvScalar(20.0); s.val[0]=20.0;</PRE> <P>注意该初始化函数的函数名与对应的结构体名称几乎同名,差别仅在于函数名第一个字母是小写的,而结构体名第一个字母是大写的。它并不是一个 C++ 构造函数。(译注:类似的还有 cvMat 与 CvMat、cvPoint 与 CvPoint 等等)</P>
3、其它结构类型
(1) 点:
<PRE>CvPoint p = cvPoint(int x, int y); CvPoint2D32f p = cvPoint2D32f(float x, float y); CvPoint3D32f p = cvPoint3D32f(float x, float y, float z); //E.g.: p.x=5.0; p.y=5.0;</PRE>
(2) 矩形框大小(以像素为精度):
<PRE>CvSize r = cvSize(int width, int height); CvSize2D32f r = cvSize2D32f(float width, float height);</PRE>
(3) 矩形框的偏置和大小:
<PRE>CvRect r = cvRect(int x, int y, int width, int height);</PRE>
HighGUI视频读写函数
CvCapture
视频获取结构
typedef struct CvCapture CvCapture;结构CvCapture 没有公共接口,它只能被用来作为视频获取函数的一个参数。
cvCreateFileCapture
初始化从文件中获取视频
CvCapture* cvCreateFileCapture( const char* filename );
- filename
- 视频文件名。
函数cvCreateFileCapture给指定文件中的视频流分配和初始化CvCapture结构。
当分配的结构不再使用的时候,它应该使用cvReleaseCapture函数释放掉。
cvCreateCameraCapture
初始化从摄像头中获取视频
CvCapture* cvCreateCameraCapture( int index );
- index
- 要使用的摄像头索引。如果只有一个摄像头或者用哪个摄像头也无所谓,那使用参数-1应该便可以。
函数cvCreateCameraCapture给从摄像头的视频流分配和初始化CvCapture结构。目前在Windows下可使用两种接口:Video for Windows(VFW)和Matrox Imaging Library(MIL); Linux下也有两种接口:V4L和FireWire(IEEE1394)。
释放这个结构,使用函数cvReleaseCapture。
cvReleaseCapture
释放CvCapture结构
void cvReleaseCapture( CvCapture** capture );
- capture
- 视频获取结构指针。
函数cvReleaseCapture释放由cvCaptureFromFile 或者cvCaptureFromCAM申请的CvCapture结构。
cvGrabFrame
从摄像头或者视频文件中抓取帧
int cvGrabFrame( CvCapture* capture );
- capture
- 视频获取结构指针。
函数cvGrabFrame从摄像头或者文件中抓取帧。被抓取的帧在内部被存储。这个函数的目的是快速的抓取帧,这一点对同时从几个摄像头读取数据的同步是很重要的。被抓取的帧可能是压缩的格式(由摄像头/驱动定义),所以没有被公开出来。如果要取回获取的帧,请使用cvRetrieveFrame。
cvRetrieveFrame
取回由函数cvGrabFrame抓取的图像
IplImage* cvRetrieveFrame( CvCapture* capture );
- capture
- 视频获取结构。
函数cvRetrieveFrame返回由函数cvGrabFrame 抓取的图像的指针。返回的图像不可以被用户释放或者修改。
cvQueryFrame
从摄像头或者文件中抓取并返回一帧
IplImage* cvQueryFrame( CvCapture* capture );
- capture
- 视频获取结构。
函数cvQueryFrame从摄像头或者文件中抓取一帧,然后解压并返回这一帧。这个函数仅仅是函数cvGrabFrame和函数cvRetrieveFrame在一起调用的组合。返回的图像不可以被用户释放或者修改。
cvGetCaptureProperty
获得视频获取结构的属性
double cvGetCaptureProperty( CvCapture* capture, int property_id );
- capture
- 视频获取结构。
- property_id
- 属性标识。可以是下面之一:
- CV_CAP_PROP_POS_MSEC - 影片目前位置,为毫秒数或者视频获取时间戳
- CV_CAP_PROP_POS_FRAMES - 将被下一步解压/获取的帧索引,以0为起点
- CV_CAP_PROP_POS_AVI_RATIO - 视频文件的相对位置(0 - 影片的开始,1 - 影片的结尾)
- CV_CAP_PROP_FRAME_WIDTH - 视频流中的帧宽度
- CV_CAP_PROP_FRAME_HEIGHT - 视频流中的帧高度
- CV_CAP_PROP_FPS - 帧率
- CV_CAP_PROP_FOURCC - 表示codec的四个字符
- CV_CAP_PROP_FRAME_COUNT - 视频文件中帧的总数
函数cvGetCaptureProperty获得摄像头或者视频文件的指定属性。
译者注:有时候这个函数在cvQueryFrame被调用一次后,再调用cvGetCaptureProperty才会返回正确的数值。
cvSetCaptureProperty
设置视频获取属性
int cvSetCaptureProperty( CvCapture* capture, int property_id, double value );
- capture
- 视频获取结构。
- property_id
- 属性标识符。可以是下面之一:
- CV_CAP_PROP_POS_MSEC - 从文件开始的位置,单位为毫秒
- CV_CAP_PROP_POS_FRAMES - 单位为帧数的位置(只对视频文件有效)
- CV_CAP_PROP_POS_AVI_RATIO - 视频文件的相对位置(0 - 影片的开始,1 - 影片的结尾)
- CV_CAP_PROP_FRAME_WIDTH - 视频流的帧宽度(只对摄像头有效)
- CV_CAP_PROP_FRAME_HEIGHT - 视频流的帧高度(只对摄像头有效)
- CV_CAP_PROP_FPS - 帧率(只对摄像头有效)
- CV_CAP_PROP_FOURCC - 表示codec的四个字符(只对摄像头有效)
- value
- 属性的值。
函数cvSetCaptureProperty设置指定视频获取的属性。目前这个函数对视频文件只支持: CV_CAP_PROP_POS_MSEC, CV_CAP_PROP_POS_FRAMES, CV_CAP_PROP_POS_AVI_RATIO
cvCreateVideoWriter
创建视频文件写入器
typedef struct CvVideoWriter CvVideoWriter;CvVideoWriter* cvCreateVideoWriter( const char* filename, int fourcc, double fps, CvSize frame_size, int is_color=1 );
- filename
- 输出视频文件名。
- fourcc
- 四个字符用来表示压缩帧的codec 例如,CV_FOURCC('P','I','M','1')是MPEG-1 codec, CV_FOURCC('M','J','P','G')是motion-jpeg codec等。 在Win32下,如果传入参数-1,可以从一个对话框中选择压缩方法和压缩参数。
- fps
- 被创建视频流的帧率。
- frame_size
- 视频流的大小。
- is_color
- 如果非零,编码器将希望得到彩色帧并进行编码;否则,是灰度帧(只有在Windows下支持这个标志)。
函数cvCreateVideoWriter创建视频写入器结构。
cvReleaseVideoWriter
释放视频写入器
void cvReleaseVideoWriter( CvVideoWriter** writer );
- writer
- 指向视频写入器的指针。
函数cvReleaseVideoWriter结束视频文件的写入并且释放这个结构。
cvWriteFrame
写入一帧到一个视频文件中
int cvWriteFrame( CvVideoWriter* writer, const IplImage* image );
- writer
- 视频写入器结构。
- image
- 被写入的帧。
函数cvWriteFrame写入/附加到视频文件一帧。