深度学习笔记006SoftmaxRegression Softmax回归的实现

# '''
# 回归与分类：
#     回归：单连续值输出；自然区间R；跟真实值的区别作为损失；
#     分类：通常是多个输出；输出i是预测为第i类的置信度
#
# Softmax特点：非负，和为1
#
# 交叉熵损失： H（p,q）= 求和i{-piLog（qi）}
# 在多分类问题中，交叉熵损失即为： -logy_haty
#
# 三个常用的损失函数：
#     L2 Loss： l=(y-y_hat)²/2     预测值与真实值相隔较远，梯度大，参数更新多；相隔越近，梯度越小，渐渐地参数更新就少了。
#     L1 Loss: l=|y-y_hat|        预测值与真实值相隔多远，梯度永远是常数，权重更新不会特别大（稳定性很高），但是零点处不可导，且有一个-1到+1的变化，优化末期容易不稳定。
#     HUber's RobustLoss:
#         l=|y=y'|-1/2 if|y-y'|>1
#         l=(y-y')²/2  otherwise
#         预测值与真实值相差较远，梯度固定；想差较近，梯度会越来越小，保证优化比较平滑
#
# '''
#
# # Softmax从0实现
# import torch
# from IPython import display
# from d2l import torch as d2l
#
# batch_size=256
# train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)
#
# num_inputs=784  #输入的是个3D的向量（长宽通道数），把它拉成一个平的向量，28*28=784
# num_outputs=10  #输出是个10维的向量，因为输出只有10个类别
#
# W=torch.normal(0,0.01,size=(num_inputs,num_outputs),requires_grad=True)
# b=torch.zeros(num_outputs,requires_grad=True)
#
# def softmax(X):
#     X_exp=torch.exp(X)
#     partition=X_exp.sum(1,keepdim=True)
#     return X_exp/partition
#
# # 测试一下
# X=torch.normal(0,1,(2,5))
# print(X)
# X=softmax(X)
# print(X)
# print(X.sum(1))
# print(X.sum(0))
#
# # 最终的Softmax函数
# def net(X):
#     return softmax(torch.matmul(X.reshape((-1,W.shape[0])),W)+b) #-1代表批量维度，W的shape即压缩后的一维图片，最后就是一个batch_Size（256） x 784的矩阵
#
# # 交叉熵损失函数
# def cross_entropy(y_hat,y):
#     return -torch.log(y_hat[range(len(y_hat)),y])
#
# def accuracy(y_hat,y):
#     if len(y_hat.shape>1) and len(y_hat.shape[1])>1: #二维矩阵 & 列数大于1
#         y_hat=y_hat.argmax(axis=1) #把每一行元素最大的放进来（概率最高）
#     cmp=y_hat.type(y.dtype)==y #将比较结果T和F存入cmp
#     return float(cmp.type(y.dtype).sum()) #将cmp里的bool转回int，然后求和（1即为true），与总数做除法就是True的概率
#

# __________________________________________________________________________________________________________-
# Softmax简洁实现
import torch
from torch import nn
from d2l import torch as d2l
batch_size=256
train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)

net=nn.Sequential(nn.Flatten(),nn.Linear(784,10))
# Flatten展平层，因为pytorch不会隐式地调整输入的形状，所以需要定义一个展平层在线性层前调整网络形状

def init_weights(m):
    if type(m)==nn.Linear:
        nn.init.normal_(m.weight,std=0.01)#均值为0，方差为1
net.apply(init_weights)

loss = nn.CrossEntropyLoss()

trainer=torch.optim.SGD(net.parameters(),lr=0.1)