yolov5数据增强引发的思考——透视变换矩阵的创建
yolov5的数据增强中，透视、仿射变换统一使用了random_perspective一个函数进行处理，包含了旋转、缩放、平移、剪切变换(shear,实际是按坐标轴方向变换，具体可看下文)、透视。其中下面这段代码的这个参数有点疑惑，因此寻找了不少透视变换的资料，这里记录我自己的思考。
仿射变换
仿射变换主要包括旋转、缩放、平移、shear等，仿射变换矩阵可以由旋转矩阵、平移矩阵等组合得到，仿射变换矩阵可以用如下矩阵表示。参考来源
旋转、平移等基础变换矩阵如下图所示，random_perspective函数内部也是根据相应旋转角度等参数构建相应的矩阵并组合起来。
透视变换
回到开始说的，yolov5源码说的透视参数对应矩阵M[2,0],M[2,1]，random_perspective函数也只是建议参数范围0~0.001，前面的旋转、平移、缩放、shear参数都有具体含义并得到相应的矩阵，透视变换相关的参数却只是给出了数值范围，因此困惑于这个参数具体代表什么含义？
查找很多资料，基本都是opencv怎么使用透视变换、或者怎么实现求解透视变换矩阵的问题（可参考链接）。我想知道的是，透视变换矩阵是怎样由旋转、平移等基本操作矩阵组合而来的，即矩阵M[2,0],M[2,1]参数是怎样的操作得到的。
于是想到透视变换是把图像投影到新的视平面，如上图所示，新平面如果与原图像平面平行那就是简单的仿射变换，不平行那就是绕x/y轴发生了旋转，即空间点的旋转变换。空间坐标系转换。
因此perspective参数应该是绕x，y轴旋转矩阵产生。
测试程序如下
def __mylearn():
colors = [(0, 0, 255), (255, 0, 0)]#红色绘制原始框，蓝色绘制变换后的框
lw = 1
#voc数据集的一张图片数据
img = cv2.imread('../examples/2008_000109.jpg')
src = img.copy()
h, w, c = img.shape
cx, cy = w / 2, h / 2
bboxs = np.loadtxt('../examples/2008_000109.txt')
cw, ch = 0.5 * bboxs[:, 3], 0.5 * bboxs[:, 4]
bboxs[:, 3] = bboxs[:, 1] + cw
bboxs[:, 4] = bboxs[:, 2] + ch
bboxs[:, 1] -= cw
bboxs[:, 2] -= ch
bboxs[:, [1, 3]] *= w
bboxs[:, [2, 4]] *= h
srcboxs = bboxs.round().astype(np.int)
#原始图像绘制bbox框
for box in srcboxs:
s = f'c{box[0]}'
cv2.rectangle(src, (box[1], box[2]), (box[3], box[4]), color=colors[0], thickness=lw)
cv2.putText(src, s, (box[1], box[2] - 2), cv2.FONT_HERSHEY_COMPLEX, 1.0, color=colors[0], thickness=lw)
rotate = 10
shear = 5
scale = 0.8
R, T1, T2, S, SH = np.eye(3), np.eye(3), np.eye(3), np.eye(3), np.eye(3)
cos = math.cos(-rotate / 180 * np.pi) # 图片坐标原点在左上角，该坐标系的逆时针与肉眼看照片方向相反
sin = math.sin(-rotate / 180 * np.pi)
R[0, 0] = R[1, 1] = cos # 旋转矩阵
R[0, 1] = -sin
R[1, 0] = sin
T1[0, 2] = -cx # 平移矩阵
T1[1, 2] = -cy
T2[0, 2] = cx # 平移矩阵
T2[1, 2] = cy
S[0, 0] = S[1, 1] = scale # 缩放矩阵
M = (T2 @ S @ R @ T1) # 注意左乘顺序，对应，平移-》旋转-》缩放-》平移
# M[:2]等价于cv2.getRotationMatrix2D(center=(cx, cy), angle=rotate, scale=scale)
img = cv2.warpAffine(src, M[:2], (w, h), borderValue=(114, 114, 114))
img=np.concatenate((src,img),axis=1)
cv2.imwrite('affine.jpg', img)
#再加上shear
SH[0, 1] = SH[1, 0] = math.tan(shear / 180 * np.pi) # 两个方向
M = (T2 @ S @ SH @ T1)
img = cv2.warpAffine(src, M[:2], (w, h), borderValue=(114, 114, 114))
#bboxs坐标转换
#srcboxs [n,5]
# M矩阵用于列向量相乘，这里需要用转置处理所有坐标
n=srcboxs.shape[0]
xy = np.ones((n * 4, 3))#齐次坐标
xy[:,:2]=srcboxs[:,[1,2,3,2,3,4,1,4]].reshape((n*4,2)) #顺时针xy,xy,xy,xy坐标
transbox=(xy@M.T)[:,:2].reshape((n,8)).round().astype(np.int)
for idx,box in enumerate(transbox):
s = f'c{srcboxs[idx,0]}'
cv2.line(img,(box[0], box[1]),(box[2], box[3]),color=colors[1],thickness=lw)
cv2.line(img, (box[2], box[3]), (box[4], box[5]), color=colors[1], thickness=lw)
cv2.line(img, (box[4], box[5]), (box[6], box[7]), color=colors[1], thickness=lw)
cv2.line(img, (box[6], box[7]), (box[0], box[1]), color=colors[1], thickness=lw)
cv2.putText(img, s, (box[0], box[1] - 2), cv2.FONT_HERSHEY_COMPLEX, 1.0, color=colors[1], thickness=lw)
img = np.concatenate((src, img), axis=1)
cv2.imwrite('shrear.jpg',img)
#透视变换
#src=cv2.imread('../examples/test.png')
P,RX,RY=np.eye(3),np.eye(3),np.eye(3)
k=0.9
def get_one_z(a,b,c):#z1,z2 get z (0~1)
z1 = (-b + math.sqrt(b ** 2 - 4 * a * c)) / (2 * a)
z2 = (-b - math.sqrt(b ** 2 - 4 * a * c)) / (2 * a)
if z1>0 and z1<1:
return z1
else:
return z2
# 绕x轴旋转
zx=get_one_z(1+w**2,-2,1-(k*w)**2)#一元二次方程求解
#ax=math.atan((1-zx)/(w*zx))
ax=math.asin((1-zx)/(k*w))
cosx, sinx= math.cos(ax), math.sin(ax)
RX[1, 1] = RX[2, 2] = cosx
RX[1, 2] = -sinx
RX[2, 1] = sinx
img=cv2.warpPerspective(src,RX,(w,h))
cv2.imwrite('perspective_rx.jpg', img)
# 图像中心双轴旋转
zy = get_one_z(1 + h ** 2, -2, 1 - (k * h) ** 2) # 一元二次方程求解
ay = math.atan((1 - zy) / (h * zy))
cosy, siny = math.cos(ay), math.sin(ay)
RY[0, 0] = RX[2, 2] = cosy
RY[0, 2] = siny
RY[2, 0] = -siny
P=RX@RY
print(P)
M=T2@P@T1
img = cv2.warpPerspective(src, M, (w, h))
xy=xy @ M.T
transbox = (xy[:, :2] / xy[:, 2:3]).reshape(n, 8).round().astype(np.int)
for idx, box in enumerate(transbox):
s = f'c{srcboxs[idx, 0]}'
cv2.line(img, (box[0], box[1]), (box[2], box[3]), color=colors[1], thickness=lw)
cv2.line(img, (box[2], box[3]), (box[4], box[5]), color=colors[1], thickness=lw)
cv2.line(img, (box[4], box[5]), (box[6], box[7]), color=colors[1], thickness=lw)
cv2.line(img, (box[6], box[7]), (box[0], box[1]), color=colors[1], thickness=lw)
cv2.putText(img, s, (box[0], box[1] - 2), cv2.FONT_HERSHEY_COMPLEX, 1.0, color=colors[1], thickness=lw)
img = np.concatenate((src, img), axis=1)
cv2.imwrite('perspective.jpg',img)
其中绕x,y轴的角度范围确定方式如下图，假设黑色垂直实线为视平面，绕x轴旋转alpha角度，空间点（0，y，z）透视后在视平面位置（0，y/z,1）处，即（0，0，1）~（0，y, z）段透视到视平面（0，0，1）~（0，y/z,1）段。我期望图像透视后整个y方向还占k比率范围。则有(1-z)**2+(hz)**2=(kh)**2,解得z后就可以求alpha大小
透视变换前后
这样就可以用基本操作设计透视矩阵。
k比较大时，如0.8，0.9，P矩阵如下。
与直接设置M[2,0],M[2,1]数量级接近了，设置k比直接设置random_perspective的perspective参数更容易调节透视变换效果。
不过实际图像增强中不会去使用旋转、透视等，因为若这样做原始的box变换后是倾斜的不规则的，无法获取用于训练的外接矩形框。
