【翻译】Kinect v2程序设计(C++) Color篇

Kinect SDK v2预览版，获取数据的基本流程的说明。以及取得Color图像的示例程序的介绍。

上一节，是关于当前型号Kinect for Windows（后面称作Kinect v1）和次世代型的Kinect for Windows的开发者预览版(后面称作Kinect v2 预览版)的配置比较和介绍。

从这一节开始，是Kinect的各种数据的取得方法的比较和介绍。

Color Camera

Kinect和通常的Web摄像头一样，搭载了 Color Camera，可以取得Color图像。关于Camera，Kinect v1的分辨率是640×480，Kinect v2分辨率大幅提升到1920×1080。这次，要介绍从Color Camer取得图像的方法。

数据取得的流程

Kinect SDK v1和Kinect SDK v2预览版取得数据的基本流程。

这里表示的是最基础的流程，在Kinect SDK 在v2预览版里，有把多个「Source」「Reader」一齐处理的API，和这里介绍的数据获取的流程也会有差异。

图1是Kinect SDK v1和Kinect SDK v2预览版的数据取得流程

Kinect SDK v1，是从「Sensor」打开「Stream」，从「Stream」取得「Frame」，从「Frame」取得数据这样的流程。

到了Kinect SDK v2预览版，是从「Sensor」取得「Source」，从「Source」打开「Reader」，从「Reader」取得「Frame」，从「Frame」取得数据这样的流程。

每个Kinect SDK v2预览版的「Source」，都有一个从Kinect取得Color和Depth的1个数据流，这点和Kinect SDK v1的「Stream」是一样的。

Kinect SDK v2预览版，追加了「Reader」的阶段。「Reader」能打开1个「Source」多次。通过这个配置，多线程的应用上，不需要把取得的数据拷贝到其他线程处理。也有多个应用可以从同一个传感器取得数据的优点。

（注：因为Color Camera和Depth Camera是分离的，所以Color、Depth和Skeleton数据流也是各自独立的，API通过Event来通知App是否有数据更新。通常为了效率，对每一个数据流都使用单独的线程来等待Event，然后处理数据。在之前的v1中，Frame是独立的，取出后数据就被Drop掉了，所以想在Depth里读取Color之类的操作，必须使用内存拷贝，而多线程读写数据又会需要互斥锁，十分影响效率；还有一个办法是通过NuiSetFrameEndEvent，也就是c#接口中的AllFrameReady事件，但是这样等待所有数据不仅太局限而且效率很低。）

示例程序

Kinect SDK v2预览版取得Color画像的示例程序的展示，图1展示的是数据取得阶段的摘录解说。这个示例程序的全部内容，在下面的github里公开了。

https://github.com/UnaNancyOwen/Kinect2Sample

这个示例程序为了处理图像数据，使用了OpenCV。OpenCV的详细内容可以参考下面的信息。

http://docs.opencv.org/

「Sensor」

取得「Sensor」

// Sensor
IKinectSensor* pSensor;   ……1
HRESULT hResult = S_OK;
hResult = GetDefaultKinectSensor( &pSensor );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : GetDefaultKinectSensor" << std::endl;
  return -1;
}
hResult = pSensor->Open();  ……3
if( FAILED( hResult ) ){
  std::cerr << "Error : IKinectSensor::Open()" << std::endl;
  return -1;
}

列表1.1 相当于图1「Sensor」的部分

1 处理Kinect v2预览版的Sensor接口。

2 取得默认的Sensor。

3 打开Sensor。

「Source」
　从「Sensor」取得「Source」。

// Source
IColorFrameSource* pColorSource;  ……1
hResult = pSensor->get_ColorFrameSource( &pColorSource );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : IKinectSensor::get_ColorFrameSource()" << std::endl;
  return -1;
}

列表1.2 相当于图1「Source」的部分

1 获取Color Frame的Source接口。

2 从Sensor取得Source。

「Reader」

「Source」从打开「Reader」。

// Reader
IColorFrameReader* pColorReader;  ……1
hResult = pColorSource->OpenReader( &pColorReader );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : IColorFrameSource::OpenReader()" << std::endl;
  return -1;
}

列表1.3 相当于图1「Reader」的部分

1 获取Color Frame的Reader接口。

2 从Source打开Reader。

「Frame」～「Data」

从「Reader」取得最新的「Frame」。

int width = 1920;   ……1
int height = 1080;  ……1
unsigned int bufferSize = width * height * 4 * sizeof( unsigned char );  ……2
cv::Mat bufferMat( height， width， CV_8UC4 );  ……3
cv::Mat colorMat( height / 2， width / 2， CV_8UC4 );  ……3
cv::namedWindow( "Color" );
while( 1 ){
  // Frame
  IColorFrame* pColorFrame=nullptr;  ……4
  hResult=pColorReader->AcquireLatestFrame( &pColorFrame );  ……5
  if( SUCCEEDED( hResult ) ){
    hResult = pColorFrame->CopyConvertedFrameDataToArray( bufferSize， reinterpret_cast<BYTE*>( bufferMat.data )， ColorImageFormat_Bgra );  ……6
    if( SUCCEEDED( hResult ) ){
      cv::resize( bufferMat， colorMat， cv::Size()， 0.5， 0.5 );   ……7
    }
  }
  SafeRelease( pColorFrame );
  // Show Window
  cv::imshow( "Color"， colorMat );
  if( cv::waitKey( 30 ) == VK_ESCAPE ){
    break;
  }
}

列表1.4 相当于图1「Frame」，「Data」的部分

1 Color图像的尺寸（1920×1080）。

这里为了简化说明，画像尺寸用硬编码来设定，示例程序可以从Source取得着Frame信息。

2 Color图像的数据尺寸。

3 为了处理Color图像，准备OpenCV的cv::Mat。

「bufferMat」是原始的图像数据，「colorMat」是Resize图像数据的处理。

「CV_8UC4」，是无符号8bit整数(8U)，4个channel(C4)并列来表现1个像素的数据格式。

4 取得Color图像的Frame接口。

5 从Reader取得最新的Frame。

6 从Frame取得Color图像。

默认的格式是YUY2（亮度与色差表现的格式），不过可以经过简单处理变换为BGRA。

7 缩小为长宽各一半的尺寸(960×540)。

从「Frame」取得Color图像的数据时，Kinect SDK v1是预先指定图像尺寸和格式，Kinect SDK v2不能指定图像尺寸。因此，取得数据后可以按任意形状来整理。

取出的Color图像直接显示的话尺寸太大（1920×1080），在这里采用了OpenCV的resize命令（cv::resize()），缩小为长宽各一半的尺寸(960×540)。（注：阅读理解时不要受这一段缩放代码的干扰，仅仅就是为了考虑在显示器上显示的方便观察，没别的意义。）

取出的Color图像的数据如果指定的是BGRA格式，就会像图2一样的排列着。蓝(B)，绿(G)，红(R)，和无效值(A)的共计32bit构成1像素。

图2 Color图像的数据排列

运行结果

运行这个示例程序的话，就会像图3那样，显示从Kinect v2预览版中取得的Color图像。

总结

本节介绍了从Kinect SDK v2预览版中取得数据的基本流程和取得Color图像的示例程序，下一节将介绍取得Depth数据的示例程序。

posted @ 2014-12-01 23:32 Trace0429 阅读(4061) 评论(0) 编辑收藏举报

刷新页面返回顶部

【翻译】Kinect v2程序设计(C++) Color篇

公告