COMP9517 week7 Motion

https://echo360.org.au/lesson/9750cbfe-6500-42f7-b024-45c5cf2a69b0/classroom#sortDirection=desc

https://webcms3.cse.unsw.edu.au/static/uploads/course/COMP9517/20T2/bca52a9037053fc7f77869b5c36edef5830da7920d455dce479c282c9ba12431/COMP9517_20T2W7_Part_1-1_Motion.pdf

 

Adding the time dimension to the image formation

 

 

1. Detecting Motion　

　　1). Change Detection　

　　　　image subtraction:  两图相减，对于每个pixel的值， 大于threshold为1，小于为0

　　　　

 

 

　　2).  Sparse motion estimation Using template matching to estimate local displacements

　　　　(1) Motion Vector : 向量代表点的移动

　　　　　　

 

 　　　　　　(2) 检测目标点， 寻找对应点在t+Δt ； 假设点移动的不远。

　　　　　　　　

 

　　　　（3） 检测目标点的方法 filters, operators

　　　　　　　计算水平，垂直，斜线方向的intensity variance， 如果最小值>threshold，则是interest point

　　　　　　

 

 

 　　　　（4）Search corresponding points

　　　　　　template searching:

　　　　　　　　1. 对于 interest point，在其周围划定一个neighbour区域，基于一些prior knowledge，在下一张图限定search region，try to find a similar pattern

　　　　　　　　2. Similarity Measures : 对两个template，计算相似度：

　　　　　　　　　　1) 计算对应点乘积之和，求最大 ； 计算对应点绝对值之差，求最小； 计算对应点之差的平方，求最小

　　　　　　　　　　2）Mutual information，求最大:   intensity distribution histogram 计算 概率

　　　　　　

 

 

 　　　　　　

 

 

 

 

 

　　3).  Dense motion estimation Using optical flow to compute a dense motion vector field

　　　　（1）假设：time interval之间，物体与camera之间不产生巨大位移； t时刻的neighbourhood能在t+Δt时刻找到

　　　　（2）联立 泰勒展开与OF不等式

　　　　　　

 

 　　　　　　

 

 　　　　

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2. Tracking