基于2D-RNN的鲁棒行人跟踪
基于2D-RNN的鲁棒行人跟踪
读"G.L. Masala, et.al., 2D Recurrent Neural Networks for Robust Visual Tracking of Non-Rigid Bodies, EANN 2016, CCIS 629, 18-34"笔记
首先给一些介绍Recurrent Neural Network比较好的材料:
深度循环神经网络与LSTM模型
理解LSTM网络
循环神经网络
Recurrent Neural Network
需要注意的是
Recurrent Neural Network, RNN, 循环神经网络
Recursive Neural Network, RNN, 递归神经网络
许多文章这两个都不加区分,其实还是有所不同的,见:
如何有效的区分和理解RNN循环神经网络与递归神经网络
循环神经网络,Recurrent Neural Network,我们下面称之为RNN,存在一个feed-back的过程,因此很适合处理序列信息,而视频数据显然就是典型的序列信息。
可以发现展开的RNN结构和HMM结构非常相似:
![展开的RNN结构.jpg enter description here](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171225752-1790599458.png)
![HMM结构示意.jpg enter description here](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171226533-89165077.png)
所以在做跟踪问题时,RNN可以类似于HMM分为两个阶段 predict和 update
RNN for Tracking
首先,提取目标的特征,可以时表观、大小、位置等等,然后使用t-k到t帧中的目标预测第t帧中目标的状态,之后使用交叉相关的方法更新t+1帧中目标的状态
其过程如下图:
![RNN for Tracking 框架.jpg RNN for Tracking](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171230049-392140859.png)
文中给出的简单的RNN框架:
![RNN框架.jpg enter description here](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171230627-2142595572.png)
令表示输入层数据,
表示隐层输出数据,
表示输出层数据,context layer,即记忆层的输出
,那么
![](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171232158-801904682.png)
其中f是激活函数。
目标函数为:
![](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171232518-1333986726.png)
显然,其中是目标在t时刻真正的状态,
是检测出的状态,e是目标运动停止时刻。
该网络可以通过BP算法计算得到,
网络规模具体设置后面介绍。
不过可以发现一点,RNN的记忆层纯粹的使用上一时刻的输出作为输出,显然不大合理,虽然后续使用线性组合和激活函数对该输出做了一定的变换,但那是和第t时刻输入一起作用的。为了更好的利用前一时刻的信息,可以对上一时刻的输出做响应的编码,然后再和第t时刻的输入一起进入隐层。这种思想可以在LSTM中见到。
2D-RNN for Tracking
类似于NN->CNN, 2D-RNN相对与RNN而言,输入数据直接时图像,而且层与层之间不再是全链接的关系,而是使用类似卷积的形式,不过与CNN池化不同的是,输入是图像,输出也是图像。其结构如下图所示:
![2D-RNN结构.jpg enter description here](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171234174-1418524642.png)
至于连接区域的大小,可以通过训练过程学习获得。
显然该结构的隐层输出和输出层输出分别为
![](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171234627-1270683942.png)
实验
改论文的实验数据来自于2012伦敦奥运会三级跳决赛的视频录像,其要跟踪的就是三级跳运动员。
数据包含10段图像序列,视频帧率29fps,时长45s左右,图像大小1280720(实际操作中resize to 12872),每10帧采一帧。每个目标使用50*50的方形框框定(这点我觉得误差太大,一点都不精确)
简单RNN: 2500输入节点、250隐层节点、250记忆节点、2500输出节点,3层网络
2D- RNN: 2500输入节点、2500隐层节点、2500记忆节点、2500输出节点,3层网络, k=3
在Intel CoreTM 2 DUO CPU E 8400 @ 3.00 GHz, 4GB RAM机器上使用5-folder cross validation 对比结果如下:
![RNN和2DRNN对比结果.jpg enter description here](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171234955-1207662776.png)
其中 SRN 表示 Simple RNN.
连接数的计算SRN:
![](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171235627-550064752.png)
![](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171235971-1291688828.png)
可以发现连接数少了,学习时间短了许多,而且性能上2DRNN表现也稍微好一点。
下图给出了RNN和2DRNN预测图,图片模糊是因为输出的是和概率有关的位置分布。
![1478163693921.jpg enter description here](https://images2015.cnblogs.com/blog/1027162/201611/1027162-20161103171236408-1779550690.png)
后面和其他方法的比较,就不说了,因为我觉得毕竟不是在同一个数据集上的结果,这么横向对比意义不大。
Conclusion
2DRNN方法相对于RNN方法,利用了序列信息的同时保留了部分结构信息,使用卷积的方法,使连接参数的数目明显减少,降低了模型训练的复杂度。
关于性能方面,但从论文提供的数据,并没有发现2DRNN相比与RNN提高多少。
论文中的RNN和2DRNN都仅仅使用的是三层网络结构,可以猜想随着层数的增加,模型性能会得到一定提高
模型没有考虑遮挡的问题
可以对该模型进行修改,输入不仅仅时bounding of Box,可以输入表观和大小、位置等信息,然后预测目标在下一帧的状态,接着可以使用KCF进行update,应该能够满足实时性要求,而且通过RNN的使用可以缓解KCF中目标旋转、缩放等局限性。