线性代数进阶

向量（ vector）：一个向量是一列数。这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。

张量（ tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。我们使用字体 A 来表示张量 “A’’。张量 A 中坐标为 ( i, j , k ) 的元素记作 A_i,j,k。

标量与矩阵相加或相乘：向量与矩阵的每一个元素相加或相乘。

C = A + b : 矩阵的每一行与向量b相加（广播）。

矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵 A 和 B 的 矩阵乘积（matrix product）是第三个矩阵 C。为了使乘法定义良好，矩阵 A 的列数必须和矩阵 B 的行数相等。如果矩阵 A 的形状是 m × n，矩阵 B 的形状是 n × p，那么矩阵C 的形状是 m× p。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法，例如C = AB。

Hadamard 乘积（ Hadamard product），记为 A ⊙ B，对应元素相乘。

两个相同维数的向量 x 和 y 的 点积（ dot product）可看作是矩阵乘积 x^Ty。

现在我们已经知道了足够多的线性代数符号，可以表达下列线性方程组：
                             Ax = b
其中 A ∈ R^{m × n} 是一个已知矩阵， b ∈ R^m 是一个已知向量， x ∈ Rⁿ 是一个我们要求解的未知向量。向量 x 的每一个元素 x_i 都是未知的。

逆矩阵：A^-1A = I (I为单位矩阵，即矩阵对角线数为1，其余全为0)。

范数：L^p 范数定义如下：

当 p = 2 时， L² 范数被称为 欧几里得范数（ Euclidean norm）。它表示从原点出发到向量 x 确定的点的欧几里得距离。

平方 L² 范数也经常用来衡量向量的大小，可以简单地通过点积 x^⊤x 计算。