Backpropagation
摘要：
链式法则 反向传播 计算偏导数 举个例子 case1 求出C对y1,y2的偏微分 就可以了 阅读全文
posted @ 2020-02-19 20:37 cltt 阅读(128) 评论(0) 推荐(0)
a brief introduction of deep learning
摘要：
three steps for deep learning Step1：神经网络（Neural network） Step2：模型评估（Goodness of function） Step3：选择最优函数（Pick best function） neural network 手动连接神经元 如： 1 阅读全文
posted @ 2020-02-19 19:30 cltt 阅读(210) 评论(0) 推荐(0)
李宏毅深度学习第二次作业 Logistic regression 预测年薪超过50W
摘要：
1 import pandas as pd 2 import numpy as np 3 ''' 4 整体和PM2.5差不多 5 参考博客：https://www.cnblogs.com/HL-space/p/10785225.html 6 https://www.cnblogs.com/tingt 阅读全文
posted @ 2020-02-18 18:46 cltt 阅读(556) 评论(0) 推荐(0)
logistic Regression
摘要：
进行数学推导 逻辑回顾与线性回顾的差异 为什么logistic Regression 不能用square error Discriminative vs Generative 逻辑回归的方法称为Discriminative（判别） 方法；上一篇中用高斯来描述后验概率，称为 Generative（生成 阅读全文
posted @ 2020-02-17 18:18 cltt 阅读(175) 评论(0) 推荐(0)
深度学习 概率知识
摘要：
贝叶斯 高斯分布 交叉熵 根据香浓理论，熵是描述信息量的一种度量，如果某一事件发生的概率越小，也就是不确定性越大，那么熵就越大，或者说是信息量越大 我们要让交叉熵尽可能地小，模型预测效果越好 在计算CrossEntropyLosss时，真实的label（一个标量）被处理成onehot编码的形式。 交 阅读全文
posted @ 2020-02-17 11:57 cltt 阅读(219) 评论(0) 推荐(0)
classification
摘要：
这样会认为class 1 ,class 2 接近，有某种关系但实际没有，那么multiple class 没有好的结果 理想的方法 下面计算各个概率 D：维度。下面的D=2 最大似然估计 每一个高斯分布都有可能产生这79个点 上面标明，结果不好。那么进行修改model 协方差矩阵与feature s 阅读全文
posted @ 2020-02-16 20:27 cltt 阅读(645) 评论(0) 推荐(0)
where does the error come from
摘要：
偏差和方差 s1... s6应该都取平方 4种情况 因此simple model 对应的variance 小、 模型的复杂度对error 的影响变化图 处理高bias 只包含那些平滑的曲线，可能没包含target,导致影响bias .你刚开始用的test set存在bias ,然而真正的test s 阅读全文
posted @ 2020-02-15 18:29 cltt 阅读(146) 评论(0) 推荐(0)
梯度下降
摘要：
调节学习率 微分大小意味着离最小值的距离 c点和a点c的微分较大，但是离最低点更近。 那么微分大小意味着离最小值的距离仅在不跨元素时才成立 考虑到二次微分 左边 ：走的稳定右边： 步伐小，散乱。但快 feature scaling 特征缩放 w2的变化对y影响大w1的变化对y（loss）影响小，微分 阅读全文
posted @ 2020-02-14 22:15 cltt 阅读(148) 评论(0) 推荐(0)
torch 中各种图像格式转化
摘要：
PIL：使用python自带图像处理库读取出来的图片格式 numpy：使用python-opencv库读取出来的图片格式 tensor：pytorch中训练时所采取的向量格式（当然也可以说图片） a = torch.randn(3,496,740) c = a.numpy() print('c',c 阅读全文
posted @ 2020-02-14 20:55 cltt 阅读(877) 评论(0) 推荐(0)
浙公网安备 33010602011771号