Kinect SDK2.0 + OpenCV 3.0 抠人，换背景

使用Kinect2.0的MultiSourceFrameReader，同时获取DepthFrameSource， ColorFrameSource， BodyIndexFrameSource，然后获取相应帧。

hr = pMyKinect->OpenMultiSourceFrameReader(FrameSourceTypes::FrameSourceTypes_Depth |
            FrameSourceTypes::FrameSourceTypes_Color | FrameSourceTypes::FrameSourceTypes_BodyIndex,
            &pMultiSourceFrameReader);

 

再通过，空间映射，把彩色空间映射到深度空间，因为bodyIndex的空间和深度空间相同，所以可以直接对映射到深度空间的彩色像素做相应处理。细节直接看代码。

hr = pCoordinateMapper->MapColorFrameToDepthSpace(depthHeight * depthWidth, (UINT16*)pDepthBuffer, colorHeight * colorWidth, pDepthCoordinates);

 

代码地址：

https://github.com/stone-ch/kinect2-opencv3/tree/master/KinectChangeBackground

没有上传工程文件，我使用的环境是：

Kinect SDK v2.0_1409  64位

Opencv3.1.0

VS2013

Win10

 

效果图：

 

PS：背景图片是1920 * 1080的，因为Kinect的彩色摄像头采集到的图像就是这个尺寸。

需要改进的地方： 平滑人物边缘，前景背景融合。

 

Reference：

http://blog.csdn.net/column/details/bbdxf-kinectv2.html

http://blog.csdn.net/qq_22033759/article/category/5617829

C:\Program Files\Microsoft SDKs\Kinect\v2.0_1409\Samples\Native\CoordinateMappingBasics-D2D  Kinect SDK里边自带的例子，这是在你电脑上的路径