摘要: 1:单一输出单层感知机 (1)单一输出单层感知机的优化过程(损失函数对权重的微分过程) [注] x的上标表示第几层,下标表示第几号节点。 W的上标表示第几层(也即是第几层输出层)。W的第一下标表示输入层的第几号节点,下标表示加权求和层(输出层)的第几号节点。 O输出的上标表示第几层,下标表示第几号节 阅读全文
posted @ 2021-07-25 17:57 收购阿里巴巴 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 1:softmax (1)softmax函数适用于多分类,可以将进行[0,1]之间的压缩,并且保证和为1. (2)softmax函数求导 (3)softmax函数在pytorch中的使用 [注]求梯度有两种,分别为:p.backward()以及torch.autograd.grad(). 当p.ba 阅读全文
posted @ 2021-07-25 16:15 收购阿里巴巴 阅读(395) 评论(0) 推荐(0) 编辑