谈谈OpenNI 2与OpenCV结合的第一个程序
开始之前,让我们自己开始再熟练熟练OpenNI 2的基本使用,主要包括以下几个步骤:
1. 初始化OpenNI环境: openni::OpenNI::initialize();
2. 声明并打开Device设备: openni::Device devAnyDevice; devAnyDevice.open( openni::ANY_DEVICE );
3. 创建并打开深度数据流:openni::VideoStream streamDepth; streamDepth.create( devAnyDevice, openni::SENSOR_DEPTH ); streamDepth.start();
4. 读取数据流信息并保存在VideoFrameRef中:openni::VideoFrameRef frameDepth;streamDepth.readFrame( &frameDepth );
5. 获取深度(或颜色等)数据,开始我们自己的开发之旅: const openni::DepthPixel* pDepth = (const openni::DepthPixel*)frameDepth.getData();
6. 当结束使用数据时,首先关闭、销毁数据流:streamDepth.destroy();
7. 接着关闭设备: devAnyDevice.close();
8. 最后关闭OpenNI: openni::OpenNI::shutdown();
具体代码如下(环境配置在之前的博文中提及了,这里省去)
#include <iostream> #include "OpenNI.h" int main( int argc, char** argv ) { // 初始化OpenNI环境 openni::OpenNI::initialize(); // 声明并打开Device设备,我用的是Kinect。 openni::Device devAnyDevice; devAnyDevice.open( openni::ANY_DEVICE ); // 创建并打开深度数据流 openni::VideoStream streamDepth; streamDepth.create( devAnyDevice, openni::SENSOR_DEPTH ); streamDepth.start(); // 同样的创建并打开彩色图像数据流 openni::VideoStream streamColor; streamColor.create( devAnyDevice, openni::SENSOR_COLOR ); streamColor.start(); // 循环读取数据流信息并保存在VideoFrameRef中 openni::VideoFrameRef frameDepth; openni::VideoFrameRef frameColor; for( int i = 0; i < 1000; ++ i ) { // 读取数据流 streamDepth.readFrame( &frameDepth ); streamColor.readFrame( &frameColor ); // 获取data array const openni::DepthPixel* pDepth = (const openni::DepthPixel*)frameDepth.getData(); const openni::RGB888Pixel* pColor = (const openni::RGB888Pixel*)frameColor.getData(); // 显示深度信息和对应的彩色R、G、B数值 int idx = frameDepth.getWidth() * ( frameDepth.getHeight() + 1 ) / 2; std::cout << pDepth[idx] << "( " << (int)pColor[idx].r << "," << (int)pColor[idx].g << "," << (int)pColor[idx].b << ")" << std::endl; } // 关闭数据流 streamDepth.destroy(); streamColor.destroy(); // 关闭设备 devAnyDevice.close(); // 最后关闭OpenNI openni::OpenNI::shutdown(); return 0; }
但我们使用OpenNI和Kinect更多的是为了研究开发之用,其中用到最多的是OpenCV(OpenGL、QT也很多,只是本人用的最多的是OpenCV),下面就结合OPenNI 2和OpenCV 2.4.3开始我的第一个程序:利用OpenCV函数显示深度图像和彩色图像。直接上代码:
// YeOpenNI2SimpleUsingOpenCV.cpp : 定义控制台应用程序的入口点。 // #include "stdafx.h" #include <iostream> #include "OpenNI.h" // 载入OpenCV头文件 #include "opencv2/opencv.hpp" #include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> using namespace std; using namespace openni; using namespace cv; int main( int argc, char** argv ) { // 初始化OpenNI环境 OpenNI::initialize(); // 声明并打开Device设备,我用的是Kinect。 Device devAnyDevice; devAnyDevice.open(ANY_DEVICE ); // 创建深度数据流 VideoStream streamDepth; streamDepth.create( devAnyDevice, SENSOR_DEPTH ); // 创建彩色图像数据流 VideoStream streamColor; streamColor.create( devAnyDevice, SENSOR_COLOR ); // 设置深度图像视频模式 VideoMode mModeDepth; // 分辨率大小 mModeDepth.setResolution( 640, 480 ); // 每秒30帧 mModeDepth.setFps( 30 ); // 像素格式 mModeDepth.setPixelFormat( PIXEL_FORMAT_DEPTH_1_MM ); streamDepth.setVideoMode( mModeDepth); // 同样的设置彩色图像视频模式 VideoMode mModeColor; mModeColor.setResolution( 640, 480 ); mModeColor.setFps( 30 ); mModeColor.setPixelFormat( PIXEL_FORMAT_RGB888 ); streamColor.setVideoMode( mModeColor); // 图像模式注册 if( devAnyDevice.isImageRegistrationModeSupported( IMAGE_REGISTRATION_DEPTH_TO_COLOR ) ) { devAnyDevice.setImageRegistrationMode( IMAGE_REGISTRATION_DEPTH_TO_COLOR ); } // 打开深度和图像数据流 streamDepth.start(); streamColor.start(); // 创建OpenCV图像窗口 namedWindow( "Depth Image", CV_WINDOW_AUTOSIZE ); namedWindow( "Color Image", CV_WINDOW_AUTOSIZE ); // 获得最大深度值 int iMaxDepth = streamDepth.getMaxPixelValue(); // 循环读取数据流信息并保存在VideoFrameRef中 VideoFrameRef frameDepth; VideoFrameRef frameColor; while( true ) { // 读取数据流 streamDepth.readFrame( &frameDepth ); streamColor.readFrame( &frameColor ); // 将深度数据转换成OpenCV格式 const cv::Mat mImageDepth( frameDepth.getHeight(), frameDepth.getWidth(), CV_16UC1, (void*)frameDepth.getData()); // 为了让深度图像显示的更加明显一些,将CV_16UC1 ==> CV_8U格式 cv::Mat mScaledDepth; mImageDepth.convertTo( mScaledDepth, CV_8U, 255.0 / iMaxDepth ); // 显示出深度图像 cv::imshow( "Depth Image", mScaledDepth ); // 同样的将彩色图像数据转化成OpenCV格式 const cv::Mat mImageRGB(frameColor.getHeight(), frameColor.getWidth(), CV_8UC3, (void*)frameColor.getData()); // 首先将RGB格式转换为BGR格式 cv::Mat cImageBGR; cv::cvtColor( mImageRGB, cImageBGR, CV_RGB2BGR ); // 然后显示彩色图像 cv::imshow( "Color Image", cImageBGR ); // 终止快捷键 if( cv::waitKey(1) == 'q') break; } // 关闭数据流 streamDepth.destroy(); streamColor.destroy(); // 关闭设备 devAnyDevice.close(); // 最后关闭OpenNI openni::OpenNI::shutdown(); return 0; }
显示效果见图:
这个是在原有的程序上做了添加,主要添加了:
1. 深度图像和彩色图像的视频模式的设置:streamDepth.setVideoMode( mModeDepth);和streamColor.setVideoMode( mModeColor);
视频模式VideoMode类主要包括了:get/set像素格式、get/set分辨率(坐标x和y值)、以及每秒多少帧图像等。其中像素格式主要包括以下几种:
enum PixelFormat { PIXEL_FORMAT_DEPTH_1_MM = 100, PIXEL_FORMAT_DEPTH_100_UM = 101, PIXEL_FORMAT_SHIFT_9_2 = 102, PIXEL_FORMAT_SHIFT_9_3 = 103, PIXEL_FORMAT_RGB888 = 200, PIXEL_FORMAT_YUV422 = 201, PIXEL_FORMAT_GRAY8 = 202, PIXEL_FORMAT_GRAY16 = 203, PIXEL_FORMAT_JPEG = 204 }
主要分成两类:深度像素格式和彩色图像格式。具体是什么含义,我想利用OpenCV常用图像格式知识,自己多尝试使用对照,发现它们的不同之处和特别之处。
2. 设置彩色图像视频与深度视频的视觉校正,但我们从上面的彩色图像和深度图像可以看出来,它们通过“校正”之后还是存在着一定的偏差,对于这个问题目前已有人做了修改,但官方还是没有做具体的说明和纠正。在OPenNI 2的架构中,要进行视觉的校正,是直接调用Device提供的setImageRegistrationMode(ImageRegistrationMode mode) 函数来进行视觉校正的设置。但目前的OpenNI 2里,只提供IMAGE_REGISTRATION_OFF = 0(不用校正)和 IMAGE_REGISTRATION_DEPTH_TO_COLOR = 1(把深度映射到彩色图像的位置上)这两种模式可以使用。根据目前的OpenNI 2已经不是只针对Kinect一种感应器了,针对不同的感应器,不一定都要支持视觉校正的功能,所以在设定前,最好先判断使用的感应器是否支持“视觉校正”功能,借用官方的话说:“It is a good practice to first check if the mode is supported by calling isImageRegistrationModeSupported(). ”其中ImageRegistrationMode枚举如下:
enum ImageRegistrationMode { IMAGE_REGISTRATION_OFF = 0, IMAGE_REGISTRATION_DEPTH_TO_COLOR = 1 }
3. 读取深度图像信息和彩色图像信息,然后相应的转换为OpenCV格式,并显示:
// 读取数据流 streamDepth.readFrame( &frameDepth ); streamColor.readFrame( &frameColor ); // 将深度数据转换成OpenCV格式 const cv::Mat mImageDepth( frameDepth.getHeight(), frameDepth.getWidth(), CV_16UC1, (void*)frameDepth.getData()); // 为了让深度图像显示的更加明显一些,将CV_16UC1 ==> CV_8U格式 cv::Mat mScaledDepth; mImageDepth.convertTo( mScaledDepth, CV_8U, 255.0 / iMaxDepth ); // 显示出深度图像 cv::imshow( "Depth Image", mScaledDepth ); // 同样的将彩色图像数据转化成OpenCV格式 const cv::Mat mImageRGB(frameColor.getHeight(), frameColor.getWidth(), CV_8UC3, (void*)frameColor.getData()); // 首先将RGB格式转换为BGR格式 cv::Mat cImageBGR; cv::cvtColor( mImageRGB, cImageBGR, CV_RGB2BGR ); // 然后显示彩色图像 cv::imshow( "Color Image", cImageBGR );
这个主要就是OpenCV的图像格式和显示有关的知识了,此处省去N个字。。。
总结:知道了如何获取深度和彩色图像信息+OpenCV常用图像转换函数和图像格式,我想这个程序就很好写,并且很明了易懂了。