Pytorch系列:(一)常用基础操作
各种张量初始化
创建特殊类型的tensor
a = torch.FloatTensor(2,3)
a = torch.DoubleTensor(2,3)
...
设置pytorch中tensor的默认类型
torch.set_default_tensor_type(torch.DoubleTensor)
更改tensor类型
a.float()
各种常用初始化
torch.randn_like()
torch.rand(3,3) #创建 0-1 (3,3)矩阵
torch.randn(3,3) #创建 -1-1 (3,3)矩阵
torch.randint(1,10,[2,2]) #创建 1-10 (2,2) int型矩阵
按照不同的均值和方差进行初始化
torch.normal(mean=torch.full([20],0),std=torch.arange(0,1,0.1))
按照间隔初始化
torch.linspace(0,10,step=3)
torch.arange(1,10,5)
创建单位矩阵
torch.eye(4,4)
创建打乱的数列
torch.randperm(10)
返回tensor元素个数
torch.numel(torch.rand(2,2))
维度操作
矩阵拼接
torch.cat((x,x),0)
torch.stack((x,x),0) #与cat不同的是,stack在拼接的时候,要增加一个维度
矩阵拆分
chuck直接按照数量来拆分,输入N就拆分成N个
torch.chunk(a,N,dim)
split的两种用法,第一种是输入一个数字,这样就会拆分成这个总维度/数字个维度,第二个是如输入一个列表,会按照列表指定的维度进行拆分
torch.split(a,[1,2],dim)
矩阵选取
在某个维度上选择连续的N 列或者行
torch.narrow(dim,index,size)
选择一个维度dim,从index开始取size个列或者行
a.index_select(dim, list)
各种选取
a[ : , 1:10, ::2 , 1:10:2]
矩阵打平后选取
torch.take( tensor , list)
维度变化
a.view(1,5)
a.reshape(1,5)
维度减少和增加
只有一个维度的时候,就是0在前面插入,-1或1在后面插入,可以把list当成是0.5维度
a.unsqueeze(1)
a.squeeze(1)
维度扩张
a.expand()
维度扩展expand,注意这里的维度只能由1扩张成N,其他情况下是不能扩张的,另外维度不变的时候也可以用-1代替
a.repead()
另外一种方式是使用repeat函数,repeat表示将之前的维度复制多少次,通过复制来进行扩张
维度交换
transpose(2,3) # 交换两个维度
permute(4,2,1,3) # 交换多个维度
数学运算
基础运算
其中加减除法都可以使用运算符直接计算,乘法需要额外注意两种不同的乘法,其中:
mul或者*是矩阵对应元素相乘
mm是针对于二维的矩阵正常乘法
matmul是针对任意维度矩阵的正常乘法,@是其符号重载
数字近似
floor() 向下取整
ceil() 向上取整
trunc() 保留整数
frac() 保留小数
数值裁剪
clamp(min)
clamp(min,max) #在这个阈值之外的都变成阈值
累乘
prod()
线性代数相关
trace #矩阵的迹
diag #获取主对角线元素
triu/tril #获取上下三角矩阵
t #转置
dot/cross #内积与外积
其他
Numpy Tensor 互相转换
np_data = np.arange(6).reshape((2, 3))
torch_data = torch.from_numpy(np_data)
tensor2array = torch_data.numpy()
类型判断
isinstance(a,torch.FloatTensor)
广播
什么时候可以使用广播,广播将从最后一个维度开始,从后往前开始匹配,当一个对象的维度是1或者与另一个对象的维度大小一样的时候,可以匹配上,另外,如果一个对象的维度少于另外一个维度的对象,只要从后往前开始的维度匹配,那么就可以使用广播。
例如
(1,2,3,4) 和 (2,3,4) or (1,2,3,4) 可以广播
(1,2,3,4) 和 (1,1,1) or (1,1,1,1) 可以广播
topk
topk可以帮助返回在某一维度上最大的k个值以及下标,只需要将largest=False,就可以返回最小的k个值
where条件选择
根据条件是否成立,选择矩阵X或者矩阵Y中的元素
where(condition > 0.5 , X , Y )
gather
本质就是在查表,第一个参数是表格,第二个是维度,第三个是要查询的索引
操作就是,在inpu中选择维度dim,然后根据index编号,读取input中的元素
torch.gather(input,dim,index,out=None)