【关键帧提取】基于运动信息

关键帧提取，提取视频中具有表征意义的视频帧作为关键帧，来简洁的表述该视频的内容．主要应用于视频的压缩存储，视频结构化索引等领域．

由于关键帧的选择与人的视觉感受有关，存在一定的主观性，目前，大多数关键帧提取主要是局限某个领域的视频，像体育视频，新闻，电影等．

这样可以利用视频本身的特点来完善关键帧提取算法的准确度．

我主要关注于监控视频的关键帧的提取，下面将介绍的方法，主要针对监控视频的．

基本思路：

1).利用背景建模，目标检测技术，检测前景目标，即运动信息．

2).针对每帧图像中的前景目标，提取相应的特征，作业衡量运动信息的特征．

3).计算出每帧图像的运动信息特征．

4).根据运动信息，按照一定策略选择关键帧．

关键在于，用什么特征，描述每帧图像的运动信息，根据运动信息，采用何种策略选择关键帧．

参考文献　A Novel Video Key-Frame-Extraction Algorithm Based on Perceived Motion Energy Model　IEEE Trans. Circuits Syst. Video Technol　2003

文中提取运动信息特征：在视频压缩域里，利用编码信息提取的．(不是很懂)

选择关键帧的策略：

1).平滑和分割运动信息特征

2).然后每段里面，选取运动信息最大的帧为关键帧.

3).如果关键帧的数目有限制，则统计每段里面的运动信息，进行排序，选择运动信息大作为关键帧候选段．

文中提出一种三角模型，一个三角代表一个分段，然后选取这个三角顶点对应的帧为关键帧．

不足之处：

1).运动信息最终的三角模型，与平滑和分割窗口的大小有关，文中设置的Filter_Win = 20,Split_Win = 200.

对于某些视频，这两个值大小的设定，对最终的检测结果影响较大．

2).由于只选择三角顶点对应的帧为关键帧，因而只能代表前景目标全部出现视频中，但不能表现出前景目标对应运动方向，运动轨迹的特征．

以车辆和人为例，无法判断车辆和人运动的大致轨迹．

PS:这点也与具体应用有关，如果应用中不需要关注前景目标的运动轨迹信息，则可以忽略．

扩展：

由于文中提得的运动信息提取方法，是从压缩域的压缩编码中获取，自己不是很懂．

因而，我主要改变运动信息的获取方法，利用运动目标检测来获取运动信息．

其次，运动信息的特征只是简单的前景目标的像素点数目．

关键帧选取策略，与上文类似．