收购阿里巴巴

2021年8月2日

摘要： 1：train-val-test数据集的划分（6：2：2） [注]val 数据集其实质也是test，其只不过是在train数据集中划分出来的test数据集以选择合适的参数（防止选择的参数出现过拟合现象如图1中，当Degrees=5时,参数的选择最好，大于5会出现过拟合现象）。 2：k-flod cr 阅读全文

posted @ 2021-08-02 19:15 收购阿里巴巴阅读(404) 评论(0) 推荐(0) 编辑

18：激活函数与GPU加速

摘要： 1：激活函数 (1.1)Tanh和Sigmoid函数 [注]sigmoid函数的取值区间为[0,1],适合概率和RGB值的重建。Tanh函数的取值区间为[-1,1]，多用于循环神经网络。 sigmoid和Tanh函数存在的问题：当w的取值无穷大或者无穷小的时候会出现梯度弥散的现象。 (1.2)ReL 阅读全文

posted @ 2021-08-02 11:16 收购阿里巴巴阅读(326) 评论(0) 推荐(0) 编辑

2021年8月1日

17:全连接网络的创建以及参数优化（创建，训练，测试[计算准确度]，可视化）以及Flatten层的自定义代码

摘要：全连接层非常重要，学习后面的各种网络模型都会用到，比如：cNN,RNN等等。但是一般向以上的模型输入的都是四维张量，故通过卷积和LSTM之后输出是四维张量，但是全连接层需要输入二维张量。故需要用到打平层（Flatten层）,将后面的3个维度打平，才能输入到全连接层（nn.liner层）。由于pyto 阅读全文

posted @ 2021-08-01 19:42 收购阿里巴巴阅读(1275) 评论(0) 推荐(0) 编辑

2021年7月31日

16:交叉熵

摘要： 1:交叉熵 cross entropy (1)entropy熵 [注]熵又称为不确定性或者惊喜度或者是信息量.值越小,不确定性越强.(值越小惊喜度越大或者是值越小信息量越大) 例如:下图中的彩票中奖率. 假如1:有四个数字中奖概率分别为0.25,则熵值会很大.即中奖的概率确定性很高,也即是惊喜度越小阅读全文

posted @ 2021-07-31 17:52 收购阿里巴巴阅读(314) 评论(0) 推荐(0) 编辑

15:逻辑回归(Logistic Regression)

摘要： 1:逻辑回归 (1)逻辑回归的目标以及方法 (2)为什么不能直接最大化精确度? [注] 问题1:当权值改变,精确度没有改变,即梯度信息为0的情况. 问题2:当权值改变一点,精确度发生很大的变化:如当权值改变0.001,原来判断错误的点被判断为正确,结果导致精确度发生很大的改变,导致梯度信息不连续.从阅读全文

posted @ 2021-07-31 17:16 收购阿里巴巴阅读(285) 评论(0) 推荐(0) 编辑

2021年7月26日

14：2D函数优化实例

摘要： 1：2D函数Himmelblau (1)用3D曲线表示2D函数 4个最小解（2）pytorch中寻找最小解第一步：先将2D函数Himmelblau用pytorch实现，并且将其进行可视化【注】x,y分别是一个点的x坐标和y坐标。np.meshgrid(x,y)可以实现将x,y的范围传入其中。X 阅读全文

posted @ 2021-07-26 23:08 收购阿里巴巴阅读(48) 评论(0) 推荐(0) 编辑

13.MLP（）的反向传播

摘要： 1：MLP(Multi-Layer Perceptron)反向传播（1）多层感知机模型（2）反向传播的推到过程（主要使用链式法则）：【注】 W的上标表示第几层（也即是第几层输出层）。W的第一下标表示输入层的第几号节点，下标表示加权求和层（输出层）的第几号节点。（3）最终推导结果：（4）单层阅读全文

posted @ 2021-07-26 21:40 收购阿里巴巴阅读(207) 评论(0) 推荐(0) 编辑

12.链式法则

摘要： 1：链式法则：用于对权值参数的优化（1）链式法则的求导过程（2）在pytorch中验证链式法则阅读全文

posted @ 2021-07-26 10:59 收购阿里巴巴阅读(806) 评论(0) 推荐(0) 编辑

2021年7月25日

11.感知机

摘要： 1：单一输出单层感知机（1）单一输出单层感知机的优化过程（损失函数对权重的微分过程） [注] x的上标表示第几层，下标表示第几号节点。 W的上标表示第几层（也即是第几层输出层）。W的第一下标表示输入层的第几号节点，下标表示加权求和层（输出层）的第几号节点。 O输出的上标表示第几层，下标表示第几号节阅读全文

posted @ 2021-07-25 17:57 收购阿里巴巴阅读(37) 评论(0) 推荐(0) 编辑

10.1激活函数及其梯度（softmax求梯度）

摘要： 1：softmax (1)softmax函数适用于多分类，可以将进行[0,1]之间的压缩，并且保证和为1. （2）softmax函数求导 (3)softmax函数在pytorch中的使用 [注]求梯度有两种，分别为：p.backward()以及torch.autograd.grad(). 当p.ba 阅读全文

posted @ 2021-07-25 16:15 收购阿里巴巴阅读(395) 评论(0) 推荐(0) 编辑

收购阿里巴巴

公告