pytorch学习笔记一之张量
1. 张量¶
1.1. 概述¶
张量（tensor）是pytorch中的一种较为基础的数据结构，类比于numpy中的ndarrays，在pytorch中，张量可以在GPU中进行运算
通过以下命令，我们导入pytorch和numpy：
In [1]:
import torch
import numpy as np
1.2. 张量初始化¶
1.2.1. 直接生成张量¶
In [2]:
data = [[1, 2], [3, 4]]
x_data = torch.tensor(data)
In [3]:
x_data
Out[3]:
tensor([[1, 2],
[3, 4]])1.2.2. ndarrays转化¶
In [4]:
np_array = np.array(data)
x_np = torch.from_numpy(np_array)
In [5]:
x_np
Out[5]:
tensor([[1, 2],
[3, 4]])1.2.3. 通过已有张量生成¶
继承结构与数据类型：
In [6]:
x_ones = torch.ones_like(x_data)
In [7]:
x_ones
Out[7]:
tensor([[1, 1],
[1, 1]])继承结构，改变数据类型：
In [8]:
x_rand = torch.rand_like(x_data, dtype=torch.float)
In [9]:
x_rand
Out[9]:
tensor([[0.9849, 0.3644],
[0.0800, 0.2939]])1.2.4. 指定维数生成张量¶
用元组类型的数据指定维数：
In [10]:
shape = (2, 3)
生成张量：
In [11]:
torch.ones(shape)
Out[11]:
tensor([[1., 1., 1.],
[1., 1., 1.]])In [12]:
torch.zeros(shape)
Out[12]:
tensor([[0., 0., 0.],
[0., 0., 0.]])In [13]:
torch.rand(shape)
Out[13]:
tensor([[0.1744, 0.3771, 0.7969],
[0.7098, 0.9853, 0.3950]])1.3. 张量属性¶
维数：
In [14]:
x_data.shape
Out[14]:
torch.Size([2, 2])数据类型：
In [15]:
x_data.dtype
Out[15]:
torch.int64存储设备：
In [16]:
x_data.device
Out[16]:
device(type='cpu')1.4. 张量计算¶
GPU对于张量的计算更快，检测GPU是否可用：
In [17]:
torch.cuda.is_available()
Out[17]:
False显然，对于笔者设备来说，由于没有显卡，GPU加速是不可用的，如果设备GPU可用，可以将CPU中的数据导入GPU：
In [18]:
if torch.cuda.is_available():
tensor = x_data.to('cuda')
1.4.1. 索引和切片¶
In [19]:
tensor = torch.ones((3, 4))
In [20]:
tensor
Out[20]:
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])类比于ndarrays，tensor也可理解为是一个多维数组，以下表示将tensor变量的第一行、第一列变为0：
In [21]:
tensor[1, 1] = 0
In [22]:
tensor
Out[22]:
tensor([[1., 1., 1., 1.],
[1., 0., 1., 1.],
[1., 1., 1., 1.]])以下表示将tensor变量的第三列变为0：
In [23]:
tensor[:, 3] = 0
In [24]:
tensor
Out[24]:
tensor([[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])1.4.2. 张量的拼接¶
In [25]:
tensor1 = torch.ones((3, 4))
tensor2 = torch.zeros((3, 4))
使用torch.cat()方法，指定维数进行拼接:
In [26]:
torch.cat([tensor1, tensor2], dim=1)
Out[26]:
tensor([[1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 0., 0., 0., 0.]])In [27]:
torch.cat([tensor1, tensor2], dim=0)
Out[27]:
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.],
[0., 0., 0., 0.],
[0., 0., 0., 0.],
[0., 0., 0., 0.]])In [28]:
torch.cat([tensor1, tensor2], dim=-1)
Out[28]:
tensor([[1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 0., 0., 0., 0.]])In [29]:
torch.cat([tensor1, tensor2], dim=-2)
Out[29]:
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.],
[0., 0., 0., 0.],
[0., 0., 0., 0.],
[0., 0., 0., 0.]])In [30]:
torch.cat([tensor1, tensor2, tensor], dim=-2)
Out[30]:
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.],
[0., 0., 0., 0.],
[0., 0., 0., 0.],
[0., 0., 0., 0.],
[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])此处实验 dim = 2 时，有:
In [31]:
torch.cat([tensor1, tensor2], dim=2)
---------------------------------------------------------------------------
IndexError Traceback (most recent call last)
<ipython-input-31-dc57fe12e880> in <module>
----> 1 torch.cat([tensor1, tensor2], dim=2)
IndexError: Dimension out of range (expected to be in range of [-2, 1], but got 2)根据官网示例，此处dim的取值主要是0和1：
x = torch.randn(2, 3)
torch.cat((x, x, x), 0)
torch.cat((x, x, x), 1)
综上，dim的取值有 -2、-1、0、1，然而-2、-1与0、1的意思似乎是一样的
1.4.3. 张量的乘积与矩阵乘法¶
逐个元素相乘：
In [32]:
tensor.mul(tensor)
Out[32]:
tensor([[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])等价于：
In [33]:
tensor * tensor
Out[33]:
tensor([[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])张量与张量的矩阵乘法：
In [34]:
tensor.matmul(tensor.T)
Out[34]:
tensor([[3., 2., 3.],
[2., 2., 2.],
[3., 2., 3.]])等价于：
In [35]:
tensor @ tensor.T
Out[35]:
tensor([[3., 2., 3.],
[2., 2., 2.],
[3., 2., 3.]])1.4.4. 自动赋值运算¶
自增运算:
In [36]:
tensor
Out[36]:
tensor([[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])In [37]:
tensor.add_(5)
Out[37]:
tensor([[6., 6., 6., 5.],
[6., 5., 6., 5.],
[6., 6., 6., 5.]])In [38]:
tensor
Out[38]:
tensor([[6., 6., 6., 5.],
[6., 5., 6., 5.],
[6., 6., 6., 5.]])复制运算：
In [39]:
tensor.copy_(tensor1)
Out[39]:
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])In [40]:
tensor
Out[40]:
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])注意:自动赋值运算可以节省内存，但是会导致一些中间过程的问题
1.5. Tensor与Numpy的转换¶
1.5.1. Tensor转换为Numpy¶
In [41]:
tensor
Out[41]:
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])In [42]:
np_t = tensor.numpy()
In [43]:
np_t
Out[43]:
array([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]], dtype=float32)In [44]:
tensor.add_(5)
Out[44]:
tensor([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]])In [45]:
np_t
Out[45]:
array([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]], dtype=float32)可见：Tensor和Numpy共用内存，一个改变时另一个也改变
1.5.2. Numpy转Tensor¶
In [46]:
np_t
Out[46]:
array([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]], dtype=float32)In [47]:
tensor
Out[47]:
tensor([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]])In [48]:
t_np = torch.from_numpy(np_t)
In [49]:
t_np
Out[49]:
tensor([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]])In [50]:
np.add(np_t, 1, out=np_t)
Out[50]:
array([[7., 7., 7., 7.],
[7., 7., 7., 7.],
[7., 7., 7., 7.]], dtype=float32)In [51]:
t_np
Out[51]:
tensor([[7., 7., 7., 7.],
[7., 7., 7., 7.],
[7., 7., 7., 7.]])In [52]:
np.add(np_t, 1)
Out[52]:
array([[8., 8., 8., 8.],
[8., 8., 8., 8.],
[8., 8., 8., 8.]], dtype=float32)In [53]:
t_np
Out[53]:
tensor([[7., 7., 7., 7.],
[7., 7., 7., 7.],
[7., 7., 7., 7.]])可见：np.add()指定out=时才会重新赋值
