[译]Kinect for Windows SDK开发入门(十五)：进阶指引 下
上一篇文章介绍了Kinect for Windows SDK进阶开发需要了解的一些内容，包括影像处理Coding4Fun Kinect工具类库以及如何建立自己的扩展方法类库来方便开发，接下来介绍了利用Kinect进行近距离探测的一些方法，限于篇幅原因，仅仅介绍了近距离探测的三种方式。
本文接上文将继续介绍近距离探测中如何探测运动，如何获取并保存产生的影像数据；然后将会介绍如何进行脸部识别，以及介绍全息图(Holograme)的一些知识，最后介绍了一些值得关注的类库和项目。
2.4 运动识别
目前，利用运动识别(motion detection)来进行近景识别是最有意思的一种方式。实现运动识别的基本原理是设置一个起始的基准RGB图像，然后将从摄像头获取的每一帧影像和这个基准图像进行比较。如果发现了差异，我们可以认为有东西进入到了摄像头的视野范围。
不难看出这种策略是有缺陷的。在现实生活中，物体是运动的。在一个房间里，某个人可能会轻微移动家具。在户外，一辆汽车可能会启动，风可能会将一些小树吹的摇摇晃晃。在这些场景中，尽然没有连续的移动动作，但是物体的状态还是发生了变化，依据之前的策略，系统会判断错误。因此，在这些情况下，我们需要间歇性的更改基准图像才能解决这一问题。
与我们之前遇到的问题相比，完成这些任务看起来需要更强大的图像分析处理工具。幸好，之前介绍的开源OpenCV库提供了某种复杂的实时图像处理操作的能力。OpenCV是Intel公司在1999年发起的一个项目，它将一些高级的视觉研究成果加入到OpenCV库中并开源贡献给了全世界。2008年，一个名为Willow Garage的科技孵化公司负责对该项目的更新和维护。几乎同时EmguCV项目开始发起，他提供了对OpenCV的.Net包装，使得我们在.Net环境下能够使用OpenCV库中的函数。下面我们将使用EmguCV来完成运动检测以及后面的几个演示项目。
EmguCV项目的官方网站为http://www.emgu.com/wiki/index.php/Main_Page 实际的源代码和安装包放在SourceForge( http://sourceforge.net/projects/emgucv/files/ )上。本文使用的Emgu版本为2.3.0。Emgu的安装过程很简单直观，只需要点击下载好的可执行文件即可。不过有一点需要注意的是EmguCV似乎在x86架构的计算机上运行的最好。如果在64位的机器上开发，最好为Emgu库的目标平台指定为x86，如下图所示（你也可以在官网上下载源码然后自己在x64平台上编译）。
要使用Emgu库，需要添加对下面三个dll的引用：Emgu.CV、Emgu.CV.UI以及Emgu.Util。这些dll可以在Emgu的安装目录下面找到，在我的机器上该路径是：C:\Emgu\emgucv-windows-x86 2.3.0.1416\bin\。
因为Emgu是对C++类库的一个.Net包装，所以需要在dll所在的目录放一些额外的非托管的dll，使得Emgu能够找到这些dll进行处理。Emgu在应用程序的执行目录查找这些dll。如果在debug模式下面，则在bin/Debug目录下面查找。在release模式下，则在bin/Release目录下面。共有11个非托管的C++ dll需要放置在相应目录下面，他们是opencv_calib3d231.dll, opencv_conrib231.dll, opencv_core231.dll,opencv_features2d231.dll, opencv_ffmpeg.dll, opencv_highgui231.dll, opencv_imgproc231.dll,opencv_legacy231.dll, opencv_ml231.dll, opencv_objectdetect231.dll, and opencv_video231.dll。这些dll可以在Emgu的安装目录下面找到。为了方便，可以拷贝所有以opencv_开头的dll。
就像之前文章中所讨论的，通过其他的工具来进行Kinect开发可能会使得代码变得有些混乱。但是有时候，通过添加OpenCV和Emgu的图像处理功能，能够开发出一些比较有意思的应用程序。例如，我们能够实现一个真正的运动识别解决方案。
在我们的扩展方法库中，我们需要一些额外的扩展帮助方法。上一篇文章讨论过，每一种类库都有其自己能够理解的核心图像类型。在Emgu中，这个核心的图像类型是泛型的Image<TColor,TDepth>类型，它实现了Emgu.CV.IImage接口。下面的代码展现了一些我们熟悉的影像数据格式和Emgu特定的影像格式之间转换的扩展方法。新建一个名为EmguExtensions.cs的静态类，并将其命名空间改为ImageManipulationMethods，和我们之前ImageExtensions类的命名空间相同。我们可以将所有的的扩展方法放到同一个命名空间中。这个类负责三种不同影像数据类型之间的转换:从Microsoft.Kinect.ColorFrameImage到Emgu.CV.Image<TColor,TDepth>,从System.Drawing.Bitmap到Emgu.CV.Image<TColor,TDepth>以及Emgu.CV.Image<TColor,TDepth>到System.Windows.Media.Imaging.BitmapSource之间的转换。
namespace ImageManipulationExtensionMethods { public static class EmguImageExtensions { public static Image<TColor, TDepth> ToOpenCVImage<TColor, TDepth>(this ColorImageFrame image) where TColor : struct, IColor where TDepth : new() { var bitmap = image.ToBitmap(); return new Image<TColor, TDepth>(bitmap); } public static Image<TColor, TDepth> ToOpenCVImage<TColor, TDepth>(this Bitmap bitmap) where TColor : struct, IColor where TDepth : new() { return new Image<TColor, TDepth>(bitmap); } public static System.Windows.Media.Imaging.BitmapSource ToBitmapSource(this IImage image) { var source = image.Bitmap.ToBitmapSource(); return source; } } }
使用Emgu类库来实现运动识别，我们将用到在之前文章中讲到的“拉数据”(polling)模型而不是基于事件的机制来获取数据。这是因为图像处理非常消耗系统计算和内存资源，我们希望能够调节处理的频率，而这只能通过“拉数据”这种模式来实现。需要指出的是本例子只是演示如何进行运动识别，所以注重的是代码的可读性，而不是性能，大家看了理解了之后可以对其进行改进。
因为彩色影像数据流用来更新Image控件数据源，我们使用深度影像数据流来进行运动识别。需要指出的是，我们所有用于运动追踪的数据都是通过深度影像数据流提供的。如前面文章讨论，CompositionTarget.Rendering事件通常是用来进行从彩色影像数据流中“拉”数据。但是对于深度影像数据流，我们将会创建一个BackgroundWorker对象来对深度影像数据流进行处理。如下代码所示，BackgroundWorker对象将会调用Pulse方法来“拉”取深度影像数据，并执行一些消耗计算资源的处理。当BackgroundWorker完成了一个循环，接着从深度影像数据流中“拉”取下一幅影像继续处理。代码中声明了两个名为MotionHistory和IBGFGDetector的Emgu成员变量。这两个变量一起使用，通过相互比较来不断更新基准影像来探测运动。
KinectSensor _kinectSensor; private MotionHistory _motionHistory; private IBGFGDetector<Bgr> _forgroundDetector; bool _isTracking = false; public MainWindow() { InitializeComponent(); this.Unloaded += delegate { _kinectSensor.ColorStream.Disable(); }; this.Loaded += delegate { _motionHistory = new MotionHistory( 1.0, //in seconds, the duration of motion history you wants to keep 0.05, //in seconds, parameter for cvCalcMotionGradient 0.5); //in seconds, parameter for cvCalcMotionGradient _kinectSensor = KinectSensor.KinectSensors[0]; _kinectSensor.ColorStream.Enable(); _kinectSensor.Start(); BackgroundWorker bw = new BackgroundWorker(); bw.DoWork += (a, b) => Pulse(); bw.RunWorkerCompleted += (c, d) => bw.RunWorkerAsync(); bw.RunWorkerAsync(); }; }
下面的代码是执行图象处理来进行运动识别的关键部分。代码在Emgu的示例代码的基础上进行了一些修改。Pluse方法中的第一个任务是将彩色影像数据流产生的ColorImageFrame对象转换到Emgu中能处理的图象数据类型。_forgroundDetector对象被用来更新_motionHistory对象，他是持续更新的基准影像的容器。_forgroundDetector还被用来与基准影像进行比较，以判断是否发生变化。当从当前彩色影像数据流中获取到的影像和基准影像有不同时，创建一个影像来反映这两张图片之间的差异。然后将这张影像转换为一系列更小的图片，然后对运动识别进行分解。我们遍历这一些列运动的图像来看他们是否超过我们设定的运动识别的阈值。如果这些运动很明显，我们就在界面上显示视频影像，否则什么都不显示。
private void Pulse() { using (ColorImageFrame imageFrame = _kinectSensor.ColorStream.OpenNextFrame(200)) { if (imageFrame == null) return; using (Image<Bgr, byte> image = imageFrame.ToOpenCVImage<Bgr, byte>()) using (MemStorage storage = new MemStorage()) //create storage for motion components { if (_forgroundDetector == null) { _forgroundDetector = new BGStatModel<Bgr>(image , Emgu.CV.CvEnum.BG_STAT_TYPE.GAUSSIAN_BG_MODEL); } _forgroundDetector.Update(image); //update the motion history _motionHistory.Update(_forgroundDetector.ForgroundMask); //get a copy of the motion mask and enhance its color double[] minValues, maxValues; System.Drawing.Point[] minLoc, maxLoc; _motionHistory.Mask.MinMax(out minValues, out maxValues , out minLoc, out maxLoc); Image<Gray, Byte> motionMask = _motionHistory.Mask .Mul(255.0 / maxValues[0]); //create the motion image Image<Bgr, Byte> motionImage = new Image<Bgr, byte>(motionMask.Size); motionImage[0] = motionMask; //Threshold to define a motion area //reduce the value to detect smaller motion double minArea = 100; storage.Clear(); //clear the storage Seq<MCvConnectedComp> motionComponents = _motionHistory.GetMotionComponents(storage); bool isMotionDetected = false; //iterate through each of the motion component for (int c = 0; c < motionComponents.Count(); c++) { MCvConnectedComp comp = motionComponents[c]; //reject the components that have small area; if (comp.area < minArea) continue; OnDetection(); isMotionDetected = true; break; } if (isMotionDetected == false) { OnDetectionStopped(); this.Dispatcher.Invoke(new Action(() => rgbImage.Source = null)); return; } this.Dispatcher.Invoke( new Action(() => rgbImage.Source = imageFrame.ToBitmapSource()) ); } } } private void OnDetection() { if (!_isTracking) _isTracking = true; } private void OnDetectionStopped() { _isTracking = false; }
2.5 保存视频影像
相比直接将影像显示出来，如果能将录制到的影像保存到硬盘上就好了。但是，影像录制，是需要一定的技巧，在网上可以看到很多例子演示如何将Kinect获取到的影像以图片的形式保存到本地，前面的博文也介绍了这一点，但是你很少看到如何演示将一个完整的视频影像保存到本地硬盘上。幸运的是Emgu类库提供了一个VideoWriter类型来帮助我们实现这一功能。
下面的方法展示了Record和StopRecording方法如何将Kinect彩色影像摄像头产生的数据流保存到avi文件中。我们在D盘创建了一个vids文件夹，要写入avi文件之前需要保证该文件夹存在。当录制开始时，我们使用当前时间作为文件名创建一个文件，同时我们创建一个list对象来保存从彩色影像数据流中获取到的一帧帧影像。当停止录制时，将list对象中的一些列Emgu影像最为参数传入到VideoWriter对象来将这些影像转为为avi格式并保存到硬盘上。这部分代码没有对avi编码，所以产生的avi文件非常大。我们可以对avi文件进行编码压缩然后保存到硬盘上，但是这样会加大计算机的运算开销。
bool _isRecording = false; string _baseDirectory = @"d:\vids\"; string _fileName; List<Image<Rgb, Byte>> _videoArray = new List<Image<Rgb, Byte>>(); void Record(ColorImageFrame image) { if (!_isRecording) { _fileName = string.Format("{0}{1}{2}", _baseDirectory, DateTime.Now.ToString("MMddyyyyHmmss"), ".avi"); _isRecording = true; } _videoArray.Add(image.ToOpenCVImage<Rgb, Byte>()); } void StopRecording() { if (!_isRecording) return; CvInvoke.CV_FOURCC('P', 'I', 'M', '1'); //= MPEG-1 codec CvInvoke.CV_FOURCC('M', 'J', 'P', 'G'); //= motion-jpeg codec (does not work well) CvInvoke.CV_FOURCC('M', 'P', '4', '2');//= MPEG-4.2 codec CvInvoke.CV_FOURCC('D', 'I', 'V', '3'); //= MPEG-4.3 codec CvInvoke.CV_FOURCC('D', 'I', 'V', 'X'); //= MPEG-4 codec CvInvoke.CV_FOURCC('U', '2', '6', '3'); //= H263 codec CvInvoke.CV_FOURCC('I', '2', '6', '3'); //= H263I codec CvInvoke.CV_FOURCC('F', 'L', 'V', '1'); //= FLV1 codec using (VideoWriter vw = new VideoWriter(_fileName, 0, 30, 640, 480, true)) { for (int i = 0; i < _videoArray.Count(); i++) vw.WriteFrame<Rgb, Byte>(_videoArray[i]); } _fileName = string.Empty; _videoArray.Clear(); _isRecording = false; }
本例中，运动识别最后一点代码是简单的修改从彩色影像数据流“拉”取数据部分的逻辑。使得不仅将在探测到运动时将影像显示到UI界面上，同时也调用Record方法。当没有探测到运动时，UI界面上什么也不显示，并调用StopRecording方法。这部分代码也通过演示如何分析原始数据流，并探测Kinect视野中常用的变化给出了一个原型，这些变化信息可能会提供很有用的信息。
if (isMotionDetected == false) { OnDetectionStopped(); this.Dispatcher.Invoke(new Action(() => rgbImage.Source = null)); StopRecording(); return; } this.Dispatcher.Invoke( new Action(() => rgbImage.Source = imageFrame.ToBitmapSource()) ); Record(imageFrame);
3.面部识别
EmguCV库也能用来进行面部识别(face identify)。实际的面部识别，就是将一张图像上的人物的脸部识别出来，这是个很复杂的过程，具体过程我们这里不讨论。对一幅影像进行处理来找到包含脸部的那一部分是我们进行面部识别的第一个步骤。
大多数面部识别软件或多或少都是基于类哈尔特征(Haar-like feature)来进行识别的，他是哈尔小波(Haar wavelets)的一个应用，通过一些列的数学方法来定义一个矩形形状。2001年，Paul Viola和Michael Jones发表了Viola-Jones物体识别方法的框架，该框架基于识别Haar-like特征进行的。该方法和其他面部识别算法相比，所需要的运算量较小。所以这部分方法整合进了OpenCV库。
OpenCV和EmguCV中的面部识别是建立在一系列定义好了的识别规则基础之上的，规则以XML文件的形式存储，最初格式是由Rainer Lienhart定义的。在Emgu示例代码中该文件名为haarcascade_frontalface_default.xml。当然还有一系列的可以识别人物眼睛的规则在这些示例文件中，本例子中没有用到。
要使用Kinect SDK来构造一个简单的面部识别程序，首先创建一个名为KinectFaceFinder的WPF应用程序，然后引用Microsoft.Kinect, System.Drawing, Emgu.CV, Emgu.CV.UI, 和Emgu.Util. 并将所有以opencv_*开头的dll拷贝到程序编译的目录下面。最后将之前写好的两个扩展方法类库ImageExtension.cs和EmguImageExtensions.cs拷贝到项目中。项目的前端代码和之前的一样。只是在root根节点下面添加了一个名为rgbImage的Image控件。
<Window x:Class="FaceFinder.MainWindow" xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation" xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml" Title="MainWindow" Height="350" Width="525" > <Grid > <Image HorizontalAlignment="Stretch" Name="rgbImage" VerticalAlignment="Stretch" /> </Grid> </Window>
后台代码中，首先在MainWindow的构造函数中实例化KinectSensor对象然后配置彩色影像数据。因为我们使用EmguCV库来进行影像处理，所以我们可以直接使用RGB影像而不是深度影像。如下代码所示，代码中使用了BackgroundWork对象来从彩色影像数据流中拉取数据。每一次处理完了之后，拉取下一幅，然后继续处理。
KinectSensor _kinectSensor; public MainWindow() { InitializeComponent(); this.Unloaded += delegate { _kinectSensor.ColorStream.Disable(); }; this.Loaded += delegate { _kinectSensor = KinectSensor.KinectSensors[0]; _kinectSensor.ColorStream.Enable(); _kinectSensor.Start(); BackgroundWorker bw = new BackgroundWorker(); bw.RunWorkerCompleted += (a, b) => bw.RunWorkerAsync(); bw.DoWork += delegate { Pulse(); }; bw.RunWorkerAsync(); }; }
上面代码中，Pluse方法处理BackgroundWork的DoWork事件，这个方法是这个例子的主要方法。下面的代码简单的对Emgu提供的示例代码进行了一点修改。我们基于提供的脸部识别规则文件实例化了一个新的HaarCascade类。然后我们从彩色影像数据流获取了一幅影像，然后将他转换为了Emgu能够处理的格式。然后对图像进行灰度拉伸然后提高对比度来使得脸部识别更加容易。Haar识别准则应用到图像上去来产生一些列的结构来指示哪个地方是识别出来的脸部。处理完的影像然后转换为BitmapSource类型，最后后复制给Image控件。因为WPF线程的工作方式，我们使用Dispatcher对象来在正确的线程中给Image控件赋值。
String faceFileName = "haarcascade_frontalface_default.xml"; public void Pulse() { using (HaarCascade face = new HaarCascade(faceFileName)) { var frame = _kinectSensor.ColorStream.OpenNextFrame(100); var image = frame.ToOpenCVImage<Rgb, Byte>(); using (Image<Gray, Byte> gray = image.Convert<Gray, Byte>()) //Convert it to Grayscale { //normalizes brightness and increases contrast of the image gray._EqualizeHist(); //Detect the faces from the gray scale image and store the locations as rectangle //The first dimensional is the channel //The second dimension is the index of the rectangle in the specific channel MCvAvgComp[] facesDetected = face.Detect( gray, 1.1, 10, Emgu.CV.CvEnum.HAAR_DETECTION_TYPE.DO_CANNY_PRUNING, new System.Drawing.Size(20, 20)); Image<Rgb, Byte> laughingMan = new Image<Rgb, byte>("laughing_man.jpg"); foreach (MCvAvgComp f in facesDetected) { image.Draw(f.rect, new Rgb(System.Drawing.Color.Blue), 2); } Dispatcher.BeginInvoke(new Action(() => { rgbImage.Source = image.ToBitmapSource(); })); } } }
运行程序可以看到，蓝色方框内就是识别出来的人的脸部，这种识别精度比简单的使用骨骼追踪来识别出人的头部，然后识别出脸部要精确的多。
既然facesDetected包含了识别出来的脸部的位置信息，我们能够使用脸部识别算法来建立一个现实增强应用。我们可以将一个图片放到脸部位置，而不是用矩形框来显示。下面的代码显示了我们如何使用一个图片替代蓝色的矩形框。
Image<Rgb, Byte> laughingMan = new Image<Rgb, byte>("laughing_man.jpg"); foreach (MCvAvgComp f in facesDetected) { //image.Draw(f.rect, new Rgb(System.Drawing.Color.Blue), 2); var rect = new System.Drawing.Rectangle(f.rect.X - f.rect.Width / 2 , f.rect.Y - f.rect.Height / 2 , f.rect.Width * 2 , f.rect.Height * 2); var newImage = laughingMan.Resize(rect.Width, rect.Height, Emgu.CV.CvEnum.INTER.CV_INTER_LINEAR); for (int i = 0; i < (rect.Height); i++) { for (int j = 0; j < (rect.Width); j++) { if (newImage[i, j].Blue != 0 && newImage[i, j].Red != 0 && newImage[i, j].Green != 0) image[i + rect.Y, j + rect.X] = newImage[i, j]; } } }
运行程序，代码效果如下。这个形象来自动漫《攻克机动队》(Ghost in the Shell: Stand Alone Complex)，讲述的是在一个在未来全面监控下的社会，一个黑客，每当他的脸被监控的摄像头捕获到的时候，就在上面叠加一个笑脸。因为脸部识别的算法很好，所以这张笑脸图像，和动漫中的形象很像，他会随着脸部的大小和运动而变化。
4.全息图
Kinect的另一个有趣的应用是伪全息图(pseudo-hologram)。3D图像可以根据人物在Kinect前面的各种位置进行倾斜和移动。如果方法够好，可以营造出3D控件中3D图像的效果，这样可以用来进行三维展示。因为WPF具有3D矢量绘图的功能。所以这一点使用WPF和Kinect比较容易实现。下图显示了一个可以根据观察者位置进行旋转和缩放的3D立方体。但是，只有一个观察者时才能运行。
这个效果可以追溯到Johnny Chung Lee在2008 年TED演讲中对Wii Remote的破解演示。后来Johnny Lee在Kinect项目组工作了一段时间，并发起了AdaFruit竞赛，来为破解Kinect编写驱动。在Lee的实现中，Wii Remote的红外传感器放置在一对眼镜上。能够追踪戴上该眼镜的人的运动。界面上会显示一个复杂的3D图像，该图像可以根据这副眼镜的运动创建全息图的效果。
使用Kinect SDK实现这一效果非常简单。Kinect已经在骨骼数据中提供了坐标点的以米为单位的X,Y和Z的值。比较困难的部分是，如何使用XAML创建一个3D矢量模型。在本例子中，我使用Blender这个工具，他是一个开源的3D模型建造工具，可以在www.blender.org网站上下载到。但是，要将3D网格曲面导出为XAML，需要为Blender安装一个插件。我使用的Blender版本是2.6，本身有这么一个功能，虽然有些限制。Dan Lehenbauer在CodePlex上也有针对Blender开发的导出Xmal的插件，但是只能在老版本的Blender上使用。
WPF中3D矢量图像的核心概念是Viewport3D对象。Viewport3D对象可以被认为是一个3D空间，在这个空间内，我们可以放置对象，光源和照相机。为了演示一个3D效果，我们创建一个新的名为KinectHologram项目，并添加对Microsoft.Kinect.dll的引用。在MainWindow的UI界面中，在root Grid对象下面创建一个新的ViewPort3D元素。下面的代码显示了一个立方体的代码。代码中唯一和Kinect进行交互的是Viewport3D照相机对象。因此很有必要对照相机对象进行命名。
<Viewport3D> <Viewport3D.Camera> <PerspectiveCamera x:Name="camera" Position="-40,160,100" LookDirection="40,-160,-100" UpDirection="0,1,0" /> </Viewport3D.Camera> <ModelVisual3D x:Name="mainBox"> <ModelVisual3D.Transform> <Transform3DGroup> <TranslateTransform3D> <TranslateTransform3D.OffsetY>10</TranslateTransform3D.OffsetY> </TranslateTransform3D> <ScaleTransform3D> <ScaleTransform3D.ScaleZ>3</ScaleTransform3D.ScaleZ> </ScaleTransform3D> </Transform3DGroup> </ModelVisual3D.Transform> <ModelVisual3D.Content> <Model3DGroup> <DirectionalLight Color="White" Direction="-1,-1,-3" /> <GeometryModel3D > <GeometryModel3D.Geometry> <MeshGeometry3D Positions="1.000000,1.000000,-1.000000 1.000000,-1.000000,-1.000000 -1.000000,-1.000000,-1.000000 -1.000000,1.000000,-1.000000 1.000000,0.999999,1.000000 -1.000000,1.000000,1.000000 -1.000000,-1.000000,1.000000 0.999999,-1.000001,1.000000 1.000000,1.000000,-1.000000 1.000000,0.999999,1.000000 0.999999,-1.000001,1.000000 1.000000,-1.000000,-1.000000 1.000000,-1.000000,-1.000000 0.999999,-1.000001,1.000000 -1.000000,-1.000000,1.000000 -1.000000,-1.000000,-1.000000 -1.000000,-1.000000,-1.000000 -1.000000,-1.000000,1.000000 -1.000000,1.000000,1.000000 -1.000000,1.000000,-1.000000 1.000000,0.999999,1.000000 1.000000,1.000000,-1.000000 -1.000000,1.000000,-1.000000 -1.000000,1.000000,1.000000" TriangleIndices="0,1,3 1,2,3 4,5,7 5,6,7 8,9,11 9,10,11 12,13,15 13,14,15 16,17,19 17,18,19 20,21,23 21,22,23" Normals="0.000000,0.000000,-1.000000 0.000000,0.000000,-1.000000 0.000000,0.000000,-1.000000 0.000000,0.000000,-1.000000 0.000000,-0.000000,1.000000 0.000000,-0.000000,1.000000 0.000000,-0.000000,1.000000 0.000000,-0.000000,1.000000 1.000000,-0.000000,0.000000 1.000000,-0.000000,0.000000 1.000000,-0.000000,0.000000 1.000000,-0.000000,0.000000 -0.000000,-1.000000,-0.000000 -0.000000,-1.000000,-0.000000 -0.000000,-1.000000,-0.000000 -0.000000,-1.000000,-0.000000 -1.000000,0.000000,-0.000000 -1.000000,0.000000,-0.000000 -1.000000,0.000000,-0.000000 -1.000000,0.000000,-0.000000 0.000000,1.000000,0.000000 0.000000,1.000000,0.000000 0.000000,1.000000,0.000000 0.000000,1.000000,0.000000"/> </GeometryModel3D.Geometry> <GeometryModel3D.Material> <DiffuseMaterial Brush="blue"/> </GeometryModel3D.Material> </GeometryModel3D> <Model3DGroup.Transform> <Transform3DGroup> <Transform3DGroup.Children> <TranslateTransform3D OffsetX="0" OffsetY="0" OffsetZ="0.0935395359992981"/> <ScaleTransform3D ScaleX="12.5608325004577637" ScaleY="12.5608322620391846" ScaleZ="12.5608325004577637"/> </Transform3DGroup.Children> </Transform3DGroup> </Model3DGroup.Transform> </Model3DGroup> </ModelVisual3D.Content> </ModelVisual3D> </Viewport3D>
上面的代码中，照相机对象（camera）有一个以X,Y,Z表示的位置属性。X从左至右增加。Y从下往上增加。Z随着屏幕所在平面，向靠近用户的方向增加。该对象还有一个观看方向，该方向和位置相反。在这里我们告诉照相机往后面的0,0,0坐标点看。最后，UpDirection表示照相机的朝向，在本例中，照相机向上朝向Y轴方向。
立方体使用一系列8个位置的值来绘制，每一个点都是三维坐标点。然后通过这些点绘制三角形切片来形成立方体的表面。在这之上我们添加一个Material对象然后将其颜色改为蓝色。然后给一个缩放变形使这个立方体看起来大一点。最后我们给这个立方体一些定向光源来产生一些3D的效果。
在后台代码中，我们只需要配置KienctSensor对象来支持骨骼追踪，如下代码所示。彩色影像和深度值影像在该项目中不需要用到。
KinectSensor _kinectSensor; public MainWindow() { InitializeComponent(); this.Unloaded += delegate { _kinectSensor.DepthStream.Disable(); _kinectSensor.SkeletonStream.Disable(); }; this.Loaded += delegate { _kinectSensor = KinectSensor.KinectSensors[0]; _kinectSensor.SkeletonFrameReady += SkeletonFrameReady; _kinectSensor.DepthFrameReady += DepthFrameReady; _kinectSensor.SkeletonStream.Enable(); _kinectSensor.DepthStream.Enable(); _kinectSensor.Start(); }; }
为了能够产生全息图的效果，我们将会围绕立方体来移动照相机的位置，而不是对立方体本身进行旋转。首先我们需要确定Kinect中是否有用户正在处于追踪状态。如果有一个，我们就忽略其他的。我们获取追踪到的骨骼数据并提取X,Y,Z坐标信息。因为Kinect提供的位置信息的单位是米，而我们的3D立方体不是的，所以需要将这些位置点信息进行一定的转换才能够产生3D效果。基于这些位置坐标，我们大概以正在追中的骨骼为中心来移动照相机。我们也用这些坐标，并将这些坐标翻转，使得照相机能够连续的指向0,0,0这个原点。
void SkeletonFrameReady(object sender, SkeletonFrameReadyEventArgs e) { float x=0, y=0, z = 0; //get angle of skeleton using (var frame = e.OpenSkeletonFrame()) { if (frame == null || frame.SkeletonArrayLength == 0) return; var skeletons = new Skeleton[frame.SkeletonArrayLength]; frame.CopySkeletonDataTo(skeletons); for (int s = 0; s < skeletons.Length; s++) { if (skeletons[s].TrackingState == SkeletonTrackingState.Tracked) { border.BorderBrush = new SolidColorBrush(Colors.Red); var skeleton = skeletons[s]; x = skeleton.Position.X * 60; z = skeleton.Position.Z * 120; y = skeleton.Position.Y; break; } else { border.BorderBrush = new SolidColorBrush(Colors.Black); } } } if (Math.Abs(x) > 0) { camera.Position = new System.Windows.Media.Media3D.Point3D(x, y , z); camera.LookDirection = new System.Windows.Media.Media3D.Vector3D(-x, -y , -z); } }
有意思的是，这样产生全息图影像的效果比许多复杂的3D对象产生的全息图要好。3D立方体可以很容易的转换为矩形，如下图所示，只需要简单的将立方体在Z方向上进行拉伸即可。这个矩形朝向游戏者拉伸。我们可以简单的将立方体的UI这部分代码复制，然后创建一个新的modelVisual3D对象来产生新的矩形。使用变换来将这些矩形放X,Y轴上的不同位置，并给予不同的颜色。因为照相机是后台代码唯一需要关注的对象，在前台添加一个矩形对象及变换并不会影响代码的运行。
5.其他值得关注的类库和项目
与Kinect相关的一些类库和工具在以后的几年，估计会更加多和Kienct SDK一起工作。当然，最重要的使人着迷的类库及工具有FAAST，Utility3D以及Microsoft Robotics Developer Studio。
FAAST（Flexible Action and Articulated Skeleton Toolkit）是一个中间件类库用来连接Kinect的手势交互界面和传统的人际交互界面。这个类库由南加利福利亚大学的创新技术研究院编写和维护。最初FAAST是使用OpenNI结合Kinect来编写的一个手势识别类库。这个类库真正优秀的地方在于它能够将大多数内建手势映射到其他API中，甚至能够将手势映射到键盘点击中来。这使得一些Kinect技术爱好者(hacker)能够使用这一工具来使用Kinect玩一些视频游戏，包括一些例如《使命召唤》(Call of Duty)的第一人称射击游戏，以及一些像《第二人生》(Second Life)和《魔兽世界》(World of Warcraft)这样的网络游戏。目前FAAST只有针对OpenNI版本，但是据最新的消息，FAAST现在正在针对KienctSDK进行开发，可以在其官网http://projects.ict.usc.edu/mxr/faast了解更多的相关信息。
Utility3D是一个工具，能够使得传统开发3D游戏的复杂工作变得相对简单，他有免费版和专业版之分。使用Uitltiy3D编写的游戏能够轻松的跨多种平台，包括web，windows，ios, iPhone，ipad，Android，Xbox，Playstation以及Wii。它也支持第三方插件，包括一些为Kinect开发的插件，使得开发者能够使用Kinect作为传感器来作为Windows游戏的输入设备。可以在Unity3D的官网查看更多信息http://unity3d.com。
Microsoft Robotics Developer Studio是微软针对机器人的开发平台，其最新发布的RDS4.0版本也集成了Kinect传感器。除了能够访问Kinect提供的功能，Kinect也支持一系列特定的基于Kinect的机器人平台，他们可以利用Kinect传感器进行障碍物避让。更多的有关Microsoft Robotics Developer Studio的信息可以访问http://www.microsoft.com/robotics。
6.结语
本文接上文，介绍了Kinect进阶开发中需要了解一些类库和项目。在上文的基础上，本文接着介绍了近距离探测中如何探测运动，如何获取并保存产生的影像数据；然后将会介绍如何进行脸部识别，以及介绍全息图(Holograme)的一些知识，最后介绍了一些值得关注的类库和项目。本文中的几个例子可能对计算机性能有点要求，因为从Kinect获取数据以及实时图像处理是一个比较耗费资源的工作，我是09年的买的笔记本，运行上面的例子基本比较卡，大家可以试着在好一点的机器上运行，就像之前所讲的，本文例子着重的是功能和方法的展示，所以注重代码的可读性，最求性能的同学可以试着优化一下。
本文所有示例代码点击此处下载，希望以上内容对于您扩宽Kinect开发视野有所帮助！
出处：http://www.cnblogs.com/yangecnu/
本作品由yangecnu 创作，采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。 欢迎转载，但任何转载必须保留完整文章，在显要地方显示署名以及原文链接。如您有任何疑问或者授权方面的协商，请 给我留言。
