GAMES101 Lecture 03 & Lecture 04 Transform

合集 - GAMES101学习笔记(8)

1.GAMES101 Lecture 03 & Lecture 04 Transform2024-03-24

2.GAMES101 Lecture 05 Rasterization 1(Triangles)2024-03-243.GAMES101 Lecture 06 Rasterization 2 (Antialiasing and Z-Buffering)2024-03-244.GAMES101 Lecture 07 Shading 1 (Illumination, Shading and Graphic Pipeline)2024-03-245.GAMES101 Lecture 08 Shading 2 (Shading, Pipeline and Texture Mapping)2024-03-246.GAMES101 Lecture 09 Shading 3 (Texture Mapping cont2024-03-247.GAMES101 Lecture 10 Geometry 1 (Introduction)2024-03-248.GAMES101 Lecture 11 Geometry 2 (Curves and Surfaces)2024-03-24

收起

Lecture 03 & Lecture 04 Transform

为什么要变换

• Modeling
• Viewing

2D变换

• Scale

  缩放

  缩放矩阵

  $$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}{s}_x& 0\\ 0& s_y\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

  $s_x$和$s_y$为缩放系数

  若$s_x=-1,s_y=1$，则会关于y轴对称(Reflection)

• Shear

  切变

垂直坐标不变，水平坐标向右平移了$ay$

$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}1& a\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

上图的切变矩阵

• Rotate

  旋转

  （默认绕原点逆时针旋转）

  旋转矩阵的推导

$$R_{\theta }=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$

绕原点逆时针旋转$\theta$角度的旋转矩阵

若要旋转$-\theta$角度，则$$\begin{gathered} R_{-\theta }=\left[\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{array}\right]=R_{\theta }^T=R_{\theta }^{-1}(\mathrm{从}\mathrm{定}\mathrm{义}\mathrm{来}\mathrm{看}) \\ (\mathrm{若}\mathrm{一}\mathrm{个}\mathrm{矩}\mathrm{阵}\mathrm{的}\mathrm{逆}\mathrm{等}\mathrm{于}\mathrm{它}\mathrm{的}\mathrm{转}\mathrm{置}，\mathrm{则}\mathrm{称}\mathrm{其}\mathrm{为}\mathrm{正}\mathrm{交}\mathrm{矩}\mathrm{阵}) \end{gathered}$$

• Linear Transforms 线性变换
  $$\begin{gathered} x^{\prime }=ax+by \\ {y}^{\prime }=cx+dy \\ \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right] \\ \mathrm{我}\mathrm{们}\mathrm{需}\mathrm{要}\mathrm{用}\mathrm{一}\mathrm{个}\mathrm{相}\mathrm{同}\mathrm{维}\mathrm{度}\mathrm{的}\mathrm{矩}\mathrm{阵}\mathrm{乘}\mathrm{于}\mathrm{向}\mathrm{量}{x}^{\prime }=Mx \end{gathered}$$

齐次坐标

• Translation 平移变换

$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]$$

可见平移操作不是线性变换（是仿射变换），为了不让平移操作成为特殊情况，所以引入齐次坐标

• 加入第三个维度

  • 2D point $=(x,y,1{)}^T$
  • 2D vector $=(x,y,0{)}^T$
  $$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ w^{\prime }\end{array}\right)=\left(\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right)\cdot \left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{c}x+t_x\\ y+t_y\\ 1\end{array}\right)$$

  于是可以将平移变换变为线性变换

  • 关于点与向量第三维度差别的理解

    • 向量具有平移不变性，所以向量第三维度为0是为了维护平移不变性

    • $$\begin{gathered} \mathrm{向}\mathrm{量}+\mathrm{向}\mathrm{量}=\mathrm{向}\mathrm{量} \\ \mathrm{点}-\mathrm{点}=\mathrm{向}\mathrm{量} \\ \mathrm{点}+\mathrm{向}\mathrm{量}=\mathrm{点}（\mathrm{一}\mathrm{个}\mathrm{点}\mathrm{在}\mathrm{一}\mathrm{向}\mathrm{量}\mathrm{方}\mathrm{向}\mathrm{上}\mathrm{移}\mathrm{动}） \\ \mathrm{点}+\mathrm{点}=??（\mathrm{无}\mathrm{意}\mathrm{义}） \\ \mathrm{在}\mathrm{齐}\mathrm{次}\mathrm{坐}\mathrm{标}\mathrm{中}，\mathrm{我}\mathrm{们}\mathrm{定}\mathrm{义}\mathrm{点}+\mathrm{点}=\mathrm{这}\mathrm{两}\mathrm{点}\mathrm{的}\mathrm{中}\mathrm{点} \\ \left(\begin{array}{c}x\\ y\\ w\end{array}\right)=\left(\begin{array}{c}x/w\\ y/w\\ 1\end{array}\right) \end{gathered}$$

• 齐次坐标变换矩阵

  $$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right)=\left(\begin{array}{ccc}a& b& t_x\\ c& d& t_y\\ 0& 0& 1\end{array}\right)\cdot \left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$$

  该矩阵有几个特点

  • 左上角$abcd$为线性变换系数
  • 右上角$t_x,t_y$为平移系数
  • 在表示二维情况下仿射变换时最后一行为$001（\mathrm{为}001\mathrm{的}\mathrm{情}\mathrm{况}\mathrm{如}\mathrm{投}\mathrm{影}\mathrm{变}\mathrm{换}）$

• 逆变换

  将A变换到B后，再将B变换回A称为逆变换，在数学上，逆变换表现为乘于原变换矩阵的逆矩阵

组合变换

组合变换需按照RST顺序(Rotate Scale Translate)，否则会发生畸变

在数学上，表现为矩阵相乘的顺序不同意义不同

• 在OpenGL中，向量为列向量，按一下顺序相乘

  $$\begin{gathered} T\cdot S\cdot R\left(\begin{array}{c}x\\ y\\ 1\end{array}\right) \\ \mathrm{若}\mathrm{为}\mathrm{某}\mathrm{个}\mathrm{点}x\mathrm{连}\mathrm{续}\mathrm{应}\mathrm{用}\mathrm{矩}\mathrm{阵}{A}_1、A_2、A_3、... \\ {A}_N(...A_2(A_1(x)))=A_n...A_2\cdot A_1\cdot \left(\begin{array}{c}x\\ y\\ 1\end{array}\right) \\ (\mathrm{矩}\mathrm{阵}\mathrm{的}\mathrm{结}\mathrm{合}\mathrm{律}) \end{gathered}$$

• 在DirectX中，向量为行向量 ，按以下顺序相乘

  $$\begin{gathered} \left(\begin{array}{c}x\\ y\\ 1\end{array}\right)R\cdot S\cdot T \\ \mathrm{若}\mathrm{为}\mathrm{某}\mathrm{个}\mathrm{点}x\mathrm{连}\mathrm{续}\mathrm{应}\mathrm{用}\mathrm{矩}\mathrm{阵}{A}_1、A_2、A_3、... \\ (((x)A_1)A_2...)A_N=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)A_1\cdot A_2...A_n \\ (\mathrm{矩}\mathrm{阵}\mathrm{的}\mathrm{结}\mathrm{合}\mathrm{律}) \end{gathered}$$

以任意一点c为中心变换

1. 先将所有点都移动$-c$（向量）
2. 再进行旋转
3. 最后将所有点移动$c$（向量）

3D变换

类比2D变换

• 3D point $=(x,y,z,1{)}^T$

• 3D vector $=(x,y,z,0{)}^T$

• $(x,y,z,w)=(x/w,y/w,z/w,1)(w!=0)$

• $4\times 4$矩阵表示仿射变换

  $$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\\ 1\end{array}\right)=\left(\begin{array}{cccc}a& b& c& t_x\\ d& e& f& t_y\\ g& h& i& t_z\\ 0& 0& 0& 1\end{array}\right)\cdot \left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$$
  • 左上角$3\times 3$ 矩阵为线性变换矩阵
  • 右侧$3\times 1$矩阵为平移矩阵
  • 最下面一行为$0001$(仿射变换时)

• 绕$x、y、z$轴旋转

  $$\begin{gathered} R_x(\alpha )=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \alpha & -\sin \alpha & 0\\ 0& \sin \alpha & \cos \alpha & 0\\ 0& 0& 0& 1\end{array}\right) \\ {R}_y(\alpha )=\left(\begin{array}{cccc}\cos \alpha & 0& \sin \alpha & 0\\ 0& 1& 0& 0\\ -\sin \alpha & 0& \cos \alpha & 0\\ 0& 0& 0& 1\end{array}\right) \\ \mathrm{在}\mathrm{右}\mathrm{手}\mathrm{坐}\mathrm{标}\mathrm{系}\mathrm{中}，z\times x\mathrm{得}\mathrm{到}y \\ \mathrm{所}\mathrm{以}\mathrm{绕}y\mathrm{轴}\mathrm{旋}\mathrm{转}\mathrm{的}\mathrm{矩}\mathrm{阵}\mathrm{与}\mathrm{另}\mathrm{外}\mathrm{两}\mathrm{个}\mathrm{不}\mathrm{太}\mathrm{一}\mathrm{样} \\ \mathrm{左}\mathrm{手}\mathrm{系}\mathrm{同}\mathrm{样}\mathrm{也}\mathrm{有}\mathrm{不}\mathrm{同}\mathrm{的}\mathrm{轴} \\ {R}_z(\alpha )=\left(\begin{array}{cccc}\cos \alpha & -\sin \alpha & 0& 0\\ \sin \alpha & \cos \alpha & 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right) \end{gathered}$$

  于是可以将复杂的旋转分解成绕$x、y、z$轴的旋转（也被称为欧拉角）

  $R_{xyz}(\alpha ,\beta ,\gamma )=R_x(\alpha )R_y(\beta )R_z(\gamma )$

  可以以飞机的翻滚、俯仰、偏航来理解

  旋转矩阵并不适合插值，可以用四元数

  $$\begin{gathered} Rodrigue{s}^{\prime }RotationFormula（\mathrm{罗}\mathrm{德}\mathrm{里}\mathrm{格}\mathrm{斯}\mathrm{旋}\mathrm{转}\mathrm{公}\mathrm{式}） \\ \mathrm{表}\mathrm{示}\mathrm{空}\mathrm{间}\mathrm{中}\mathrm{任}\mathrm{一}\mathrm{向}\mathrm{量}I，\mathrm{沿}\mathrm{任}\mathrm{一}\mathrm{旋}\mathrm{转}\mathrm{轴}\mathrm{旋}\mathrm{转}\mathrm{角}\mathrm{度}\alpha \mathrm{后}，\mathrm{得}\mathrm{到}\mathrm{的}\mathrm{结}\mathrm{果}R(n,\alpha )=\cos (\alpha )I+(1-\cos (\alpha ))n{n}^T+\sin (\alpha )\left(\begin{array}{ccc}0& -n_z& n_y\\ n_z& 0& -n_x\\ -n_y& n_x& 0\end{array}\right) \\ n\mathrm{为}\mathrm{过}\mathrm{原}\mathrm{点}\mathrm{轴}，\mathrm{公}\mathrm{式}\mathrm{中}\mathrm{矩}\mathrm{阵}\mathrm{为}\mathrm{一}\mathrm{个}\mathrm{向}\mathrm{量}\mathrm{的}\mathrm{伴}\mathrm{随}\mathrm{矩}\mathrm{阵} \\ （\mathrm{若}\mathrm{我}\mathrm{们}\mathrm{要}\mathrm{绕}\mathrm{一}\mathrm{个}\mathrm{非}\mathrm{过}\mathrm{原}\mathrm{点}\mathrm{轴}\mathrm{旋}\mathrm{转}，\mathrm{可}\mathrm{以}\mathrm{视}\mathrm{为}\mathrm{先}\mathrm{将}\mathrm{该}\mathrm{轴}\mathrm{平}\mathrm{移}\mathrm{到}\mathrm{原}\mathrm{点}，\mathrm{旋}\mathrm{转}，\mathrm{再}\mathrm{平}\mathrm{移}\mathrm{回}\mathrm{去}） \end{gathered}$$

View Transfomation

View（视图）/Camera transfomation

• Model transfomation

  将顶点坐标从模型空间变换到世界空间

• View transfomation

  将顶点坐标从世界空间变换到相机空间

定义相机处于原点，上方向为$y$轴， 看向$z$轴负向（OpenGL等右手系，DirectX为左手系，看向$z$ 轴正向）

相当于以相机为中心建立了一个坐标系（相机空间）

通过$M_{view}$矩阵变换相机$M_{view}=R_{view}{T}_{view}$（右手系从右往左乘）

• 将$\overrightarrow{e}$平移到原点（世界空间原点）

  $T_{view}=\left[\begin{array}{cccc}1& 0& 0& -x_e\\ 1& 0& 0& -ye\\ 1& 0& 0& -z_e\\ 0& 0& 0& 1\end{array}\right]$

• 将$g$旋转至$-Z$

  将$t$旋转至$Y$

  将$(g\times t)$旋转至$X$

  （不好写）

• 反过来旋转

将$X$旋转至$(g\times t)$

将$Y$旋转至$t$

将$Z$旋转至$-g$

$R_{view}^{-1}=\begin{bmatrix}x_{\widehat g \times \widehat t} & x_t & x_{-g} & 0\\y_{\widehat g \times \widehat t} & y_t & y_{-g} & 0\\z_{\widehat g \times \widehat t} & z_t & z_{-g} & 0\\0 & 0 & 0 & 1\end{bmatrix}$

$R_{view}=\begin{bmatrix}x_{\widehat g \times \widehat t} & y_{\widehat g \times \widehat t} & z_{\widehat g \times \widehat t} & 0\\x_t & y_t & z_t & 0\\x_{-g} & y_{-g} & z_{-g} & 0\\0 & 0 & 0 & 1\end{bmatrix}$

求得逆变换，再求逆得到我们要的旋转矩阵，

而旋转矩阵又是正交矩阵，所以对其转置则为其逆矩阵

配合前面求的$T_{view}$则可求得$M_{view}$，完成视图变换

• Projection transfomation

  将顶点坐标从相机空间变换到裁剪空间

Projection（投影） transfomation

Orthographic（正交） projection

并不正式的做法（方便理解）

• 将相机置于原点，看向$-Z$轴，上方向为$Y$

• 去掉$Z$坐标

• 将结果矩形框平移和缩放至$[-1,1{]}^2$

  为什么是$[-1,1]$？

  这是一个约定俗成的做法，方便后续的计算

正式的做法

• 定义一个立方体，将这个立方体映射到canonical(正则、规范、标准) cube$[-1,1{]}^3$

  • 这里深度范围视api而定

  • 这里的立方体长宽高依据我们要渲染的范围自己决定

• 先进行平移，再进行缩放

  $$M_{ortho}=\left[\begin{array}{cccc}\frac{2}{r-l}& 0& 0& 0\\ 0& \frac{2}{t-b}& 0& 0\\ 0& 0& \frac{2}{n-f}& 0\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& -\frac{r+l}{2}\\ 0& 1& 0& -\frac{t+b}{2}\\ 0& 0& 1& -\frac{n+f}{2}\\ 0& 0& 0& 1\end{array}\right]$$

• 这里保留了深度坐标，方便用于计算遮挡

*精度上会有问题

Perspective（透视） projection

在欧氏几何中定义平行线永不相交，但在透视投影的情况下，相当于一个平面投影到另外一个平面下，这种情况就不是永不相交了

• 定义一个视锥体（近平面、远平面）

• 将视锥体“挤压”成长方体

  • 规定近平面永远不变，近平面上的任何点不变
  • 规定远平面上任何点的深度不变

• 从侧面看，可以根据相似三角形算出$y^{\prime }=\frac{n}{z}y$

• 同理$x^{\prime }=\frac{n}{z}x$

• $$\begin{gathered} \mathrm{在}\mathrm{齐}\mathrm{次}\mathrm{坐}\mathrm{标}\mathrm{中} \\ \left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=>\left(\begin{array}{c}nx/z\\ ny/z\\ unknow\\ 1\end{array}\right)==\left(\begin{array}{c}nx\\ ny\\ stillunknow\\ z\end{array}\right) \\ \mathrm{因}\mathrm{此} \\ {M}_{persp->ortho}^{4\times 4}\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=\left(\begin{array}{c}nx\\ ny\\ stillunknow\\ z\end{array}\right) \\ \mathrm{求}\mathrm{解}\mathrm{得} \\ {M}_{persp->ortho}^{4\times 4}=\left(\begin{array}{cccc}n& 0& 0& 0\\ 0& n& 0& 0\\ ?& ?& ?& ?\\ 0& 0& 1& 0\end{array}\right) \\ \mathrm{利}\mathrm{用}\mathrm{近}\mathrm{平}\mathrm{面}\mathrm{上}\mathrm{任}\mathrm{何}\mathrm{点}\mathrm{不}\mathrm{变} \\ \left(\begin{array}{c}x\\ y\\ n\\ 1\end{array}\right)=>\left(\begin{array}{c}x\\ y\\ n\\ 1\end{array}\right)==\left(\begin{array}{c}nx\\ ny\\ n^2\\ n\end{array}\right) \\ \mathrm{要}\mathrm{使}\mathrm{得}\mathrm{不}\mathrm{含}x、y，\mathrm{则}\mathrm{左}\mathrm{矩}\mathrm{阵}\mathrm{前}\mathrm{两}\mathrm{个}\mathrm{数}\mathrm{字}\mathrm{为}0 \\ \left(\begin{array}{cccc}0& 0& A& B\end{array}\right)\left(\begin{array}{c}x\\ y\\ n\\ 1\end{array}\right)=n^2 \\ An+b=n^2 \\ \mathrm{远}\mathrm{平}\mathrm{面}\mathrm{深}\mathrm{度}\mathrm{不}\mathrm{变}，\mathrm{但}\mathrm{中}\mathrm{心}\mathrm{点}(0,0,f,1)\mathrm{特}\mathrm{殊}，\mathrm{变}\mathrm{换}\mathrm{后}\mathrm{仍}\mathrm{不}\mathrm{变} \\ \mathrm{利}\mathrm{用}\mathrm{远}\mathrm{平}\mathrm{面}\mathrm{中}\mathrm{心}\mathrm{点}\left(\begin{array}{c}0\\ 0\\ f\\ 1\end{array}\right)=>\left(\begin{array}{c}0\\ 0\\ f\\ 1\end{array}\right)==\left(\begin{array}{c}0\\ 0\\ f^2\\ f\end{array}\right)Af+B=f^2 \\ \mathrm{联}\mathrm{立} \\ \{\begin{array}{rl}& An+b=n^2\\ & Af+B=f^2\end{array} \\ \mathrm{得} \\ \{\begin{array}{rl}A& =n+f\\ B& =-nf\end{array} \end{gathered}$$

透视矩阵

$$M_{persp->ortho}^{4\times 4}=\left(\begin{array}{cccc}n& 0& 0& 0\\ 0& n& 0& 0\\ 0& 0& n+f& -nf\\ 0& 0& 1& 0\end{array}\right)$$

• 对于在近平面和远平面之间的点，经过挤压变换，它们的深度被推向的远平面

  $$\begin{gathered} M_{persp->ortho}^{4\times 4}\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=\left(\begin{array}{cccc}n& 0& 0& 0\\ 0& n& 0& 0\\ 0& 0& n+f& -nf\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right) \\ =\left(\begin{array}{c}nx\\ ny\\ z(n+f)-nf\\ z\end{array}\right) \\ =\left(\begin{array}{c}x/z\\ y/z\\ (n+f)-nf/z\\ 1\end{array}\right) \\ \mathrm{即}{z}^{\prime }=\frac{(n+f)-nf}{z} \\ \mathrm{则}z-z^{\prime }=\frac{(n+f)-nf-z^2}{z} \\ \mathrm{令}f(z)=(n+f)-nf-z^2 \\ \mathrm{当}z=n\mathrm{或}z=f\mathrm{时}，f(z)=0 \\ \mathrm{则}f(z)\mathrm{函}\mathrm{数}\mathrm{图}\mathrm{像}\mathrm{为}\mathrm{开}\mathrm{口}\mathrm{朝}\mathrm{下}\mathrm{的}\mathrm{抛}\mathrm{物}\mathrm{线} \end{gathered}$$

  

  (此处$z$ 轴方向是右手系的原因)

  $$\begin{gathered} \mathrm{于}\mathrm{是}z\in (f,n),z-z^{\prime }>0，\mathrm{即}{z}^{\prime }-z<0 \\ \mathrm{变}\mathrm{换}\mathrm{后}\mathrm{的}\mathrm{点}\mathrm{深}\mathrm{度}\mathrm{小}\mathrm{于}\mathrm{原}\mathrm{深}\mathrm{度}，\mathrm{更}\mathrm{靠}\mathrm{近}\mathrm{远}\mathrm{平}\mathrm{面} \end{gathered}$$

  

  这个结论也可以用常识来理解，所有点都向着远平面压缩（离摄像机近的部分少，远的部分多），造成近大远小的现象

定义视锥体

• FOV（field of view）垂直可视角度

• 长宽比（aspect ratio）

  $Aspectratio=width/height$

$$\begin{gathered} \tan \frac{fovY}{2}=\frac{t}{|n|} \\ aspect=\frac{r}{t} \end{gathered}$$

通过$FOV、\mathrm{长}\mathrm{宽}\mathrm{比}、\mathrm{近}\mathrm{平}\mathrm{面}\mathrm{离}\mathrm{摄}\mathrm{像}\mathrm{机}\mathrm{距}\mathrm{离}|n|$就可以计算出远近、左右、上下