Python - opencv（十二）光流估计 （转载）

转载自：https://blog.csdn.net/weixin_41874898/article/details/100183715

概述：

光流估计
光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”，根据各个像素点的速度矢量特征，可以对图像进行动态分析，例如目标跟踪。
要求如下：
（1）亮度恒定：同一点随着时间的变化，其亮度不会发生改变。
（2）小运动：随着时间的变化不会引起位置的剧烈变化，只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。
（3）空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。所以需要连立n多个方程求解

Lucas-Kanade 算法

如何求解方程组呢？看起来一个像素点根本不够，在物体移动过程中还有哪些特性呢？

要保证u可逆，就A^TA的特征值λ₁和λ₂都很大，角点刚好满足这个情况，所以一般都是利用角点来做。

常用函数：

cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)

作用：用于获得光流估计所需要的角点
参数说明：old_gray表示输入图片，mask表示掩模，feature_params:maxCorners=100角点的最大个数（可以小于该数）,qualityLevel=0.3角点品质,minDistance=7即在这个范围内只存在一个品质最好的角点
返回值为(n, 1, 2)的矩阵

pl, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0,None, **lk_params)

用于获得光流检测后的角点位置
参数说明：pl表示光流检测后的角点位置，st表示是否是运动的角点，err表示是否出错，old_gray表示输入前一帧图片，frame_gray表示后一帧图片，p0表示需要检测的角点，lk_params：winSize表示选择多少个点进行u和v的求解，maxLevel表示空间金字塔的层数

cv2.calcOpticalFlowPyrLK()

参数：

1. prevImage 前一帧图像
2. nextImage 当前帧图像
3. prevPts 待跟踪的特征点向量
4. winSize 搜索窗口的大小
5. maxLevel 最大的金字塔层数

返回：

1. nextPts 输出跟踪特征点向量
2. status 特征点是否找到，找到的状态为1，未找到的状态为0
3. err表示是否出错

代码实现

import numpy as np
import cv2

cap = cv2.VideoCapture('test.avi')

# 角点检测所需参数
feature_params = dict(maxCorners=100,
                      qualityLevel=0.3,
                      minDistance=7)

# lucas kanade参数
lk_params = dict(winSize=(15, 15),
                 maxLevel=2)  # 窗口大小为15*15，金字塔层数为2

# 随机颜色条
color = np.random.randint(0, 255, (100, 3))

# 拿到第一帧图像
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
# 返回所有检测特征点，需要输入图像，角点最大数量（效率），品质因子（特征值越大的越好，来筛选）
# 距离相当于这区间有比这个角点强的，就不要这个弱的了
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)  # 寻找角点

# 创建一个mask
mask = np.zeros_like(old_frame)

while True:
    ret, frame = cap.read()  # 这个是取的第二帧图像，上面已经取出了第一帧图像
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 需要传入前一帧和当前图像以及前一帧检测到的角点
    p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

    # st=1表示
    good_new = p1[st == 1]
    print(p1.shape)  # (n,1,2)
    print(good_new.shape)  # (n, 2)
    good_old = p0[st == 1]

    # 绘制轨迹
    for i, (new, old) in enumerate(zip(good_new, good_old)):
        # new=[692.99805  83.00432]
        a, b = new.ravel()  # 或者[a, b] = new
        c, d = old.ravel()
        mask = cv2.line(mask, (a, b), (c, d), color[i].tolist(), 2)
        # python tolist()方法，将数组或者矩阵转换成列表
        frame = cv2.circle(frame, (a, b), 5, color[i].tolist(), -1)

    img = cv2.add(frame, mask)  # 这个相加不会超出边界

    cv2.imshow('frame', img)
    k = cv2.waitKey(150) & 0xff
    if k == 27:
        break

    # 更新
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1, 1, 2)

cv2.destroyAllWindows()
cap.release()