线性代数-张量算法的基本性质

给定任何相同形状的任意两个张量，任何按元素二元运算的结果都将是相同形状的张量

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

A = torch.arange(20, dtype=torch.float32).reshape(5, 4) B = A.clone()  # 通过分配新内存，将A的一个副本分配给B A, A + B   #输出结果   (tensor([[ 0.,  1.,  2.,  3.],          [ 4.,  5.,  6.,  7.],          [ 8.,  9., 10., 11.],          [12., 13., 14., 15.],          [16., 17., 18., 19.]]),  tensor([[ 0.,  2.,  4.,  6.],          [ 8., 10., 12., 14.],          [16., 18., 20., 22.],          [24., 26., 28., 30.],          [32., 34., 36., 38.]]))

1、哈达玛积：两个矩阵按元素乘法

数学符号： ⊙

?

1 2 3 4 5 6 7 8 9

# 张量的 哈达玛积 A * B   # 输出结果： tensor([[  0.,   1.,   4.,   9.],         [ 16.,  25.,  36.,  49.],         [ 64.,  81., 100., 121.],         [144., 169., 196., 225.],         [256., 289., 324., 361.]])

2、将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14

a = 2 X = torch.arange(24).reshape(2, 3, 4) a + X, (a * X).shape   #输出结果   (tensor([[[ 2,  3,  4,  5],           [ 6,  7,  8,  9],           [10, 11, 12, 13]],             [[14, 15, 16, 17],           [18, 19, 20, 21],           [22, 23, 24, 25]]]),  torch.Size([2, 3, 4]))

　　

二、降维

1、调用求和函数沿着所有的轴降低张量的维度，使它变为一个标量（也就是降维）

?

1 2 3 4 5 6 7 8 9 10 11 12

x = torch.arange(4, dtype=torch.float32)   # 可以发现x和x.sum()是开辟了两个不同的内存空间 print(id(x)) print(id(x.sum())) x, x.sum()   #输出结果   1854494777472 1854494778496 (tensor([0., 1., 2., 3.]), tensor(6.))<br><br>#sum()函数可以表示任意形状张量的元素和<br>A.shape, A.sum()<br><br>#输出结果(torch.Size([5, 4]), tensor(190.))

2、指定张量沿哪个轴来通过求和降低维度（按行、按列来生成输出向量）

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

print(A)   # axis=0：按行相加 # axis=1：按列相加 A_sum_axis0 = A.sum(axis=0) A_sum_axis0, A_sum_axis0.shape   #输出结果   tensor([[ 0.,  1.,  2.,  3.],         [ 4.,  5.,  6.,  7.],         [ 8.,  9., 10., 11.],         [12., 13., 14., 15.],         [16., 17., 18., 19.]]) (tensor([40., 45., 50., 55.]), torch.Size([4]))     A_sum_axis1 = A.sum(axis=1) A_sum_axis1, A_sum_axis1.shape   #输出结果   (tensor([ 6., 22., 38., 54., 70.]), torch.Size([5]))

3、沿着行和列矩阵求和，等价于对矩阵的所有元素进行求和

?

1 2 3 4 5

A.sum(axis=[0, 1])  # Same as `A.sum()`   #输出结果   tensor(190.)

4、求平均值

可以通过将总和除以元素总数来计算平均值，也可以直接调用函数

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

# A.mean()：求平均值 # A.sum()：求所有元素和 # A.numel()：求元素个数 A.mean(), A.sum() / A.numel()   print(A.mean()) print(A.sum()) print(A.numel())   print(A.sum()/A.numel()==A.mean())   #输出结果   tensor(9.5000) tensor(190.) 20 tensor(True)

5、可以沿着指定轴求平均值

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

print(A) print(A.sum(axis=0))   print(A.shape[0]) A.mean(axis=0), A.sum(axis=0) / A.shape[0]   #输出结果   tensor([[ 0.,  1.,  2.,  3.],         [ 4.,  5.,  6.,  7.],         [ 8.,  9., 10., 11.],         [12., 13., 14., 15.],         [16., 17., 18., 19.]]) tensor([40., 45., 50., 55.]) 5 (tensor([ 8.,  9., 10., 11.]), tensor([ 8.,  9., 10., 11.]))

　　

三、非降维求和

1、在调用函数计算总和和均值时保持轴数不变

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

# axis=1：按列计算（左右关系） # axis=0：按行计算（上下关系）   # 降维求和 print(A.sum(axis=1)) #通过输出可以发现，数据是在一行内   # 通过keepdims=true，可以实现非降维求和 sum_A = A.sum(axis=1, keepdims=True)#通过输出可以发现，求和后任然保持两个轴 sum_A   #输出结果   tensor([ 6., 22., 38., 54., 70.]) tensor([[ 6.],         [22.],         [38.],         [54.],         [70.]]) #可以发现，axis是列向求和，结果没有降维

2、沿着某个轴计算元素的累计总和

调用consum函数，此函数不会沿任何轴降低输入张量的维度

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

print(A)   # 每个轴计算A元素的累加和   print(A.cumsum(axis=0)) print(A.cumsum(axis=1)) A.cumsum(axis=0)   #输出结果   tensor([[ 0.,  1.,  2.,  3.],         [ 4.,  5.,  6.,  7.],         [ 8.,  9., 10., 11.],         [12., 13., 14., 15.],         [16., 17., 18., 19.]]) tensor([[ 0.,  1.,  2.,  3.],         [ 4.,  6.,  8., 10.],         [12., 15., 18., 21.],         [24., 28., 32., 36.],         [40., 45., 50., 55.]]) tensor([[ 0.,  1.,  3.,  6.],         [ 4.,  9., 15., 22.],         [ 8., 17., 27., 38.],         [12., 25., 39., 54.],         [16., 33., 51., 70.]]) tensor([[ 0.,  1.,  2.,  3.],         [ 4.,  6.,  8., 10.],         [12., 15., 18., 21.],         [24., 28., 32., 36.],         [40., 45., 50., 55.]])