深度学习小计
深度学习
这几天实验室招新，断断续续也学了差不多两周。
记录下来，以后再看肯定会是有很多错误。
4.29：刚出了招新招录进去了。
环境配置
安装anaconda，然后在里面下载python，jupyter，各种包。
这里，anaconda，python，jupyter是工具，numpy，pytorch，matplotlib是各种包。
1.Python：编程语言。
2.PyTorch 是一个Python机器学习库
3.matplotlib 画图的包，分析数据。
4.NumPy（Numerical Python）是Python的一种开源的数值计算扩展
5.《动手学深度学习》 ,b站有号<李沐>
python
稍微看一下简单语法和一些类型就ok，对python的掌握没啥要求。
一些不会的语法，比如yield可以遇到再学。
jupyter
在conda里面启动,输入jupyter notebook
jupyter快捷键
shift+tab 得到提示，这个可能会挺有用
Esc进入命令模式(意会即可)
- a进入上一个
- b进入下一个
- dd 删除本单元
- m 本单元进入markdown模式
- y 本单元进入代码模式
shift+enter 运行本单元，新建一个单元进入
ctrl+enter 运行本单元
pytorch
里面集成了很多深度学习的模型。
backward自动求梯度
深度学习
概念
书中引入了一个预测房价的问题，影响房价的因素只有面积和房龄，这里的y就是预测值，w1w2是两个权重，x1x2影响因素。
怎么得到w和b？给他数据自己学习。
一开始的w和b都是不好的，然后预测结束后，根据你预测的结果和真实的结果对比，进而调整你的w和b，使他达到一个好的效果，然后就得到了一个好的模型，就可以预测你想要预测的地方的房价了。
怎么调整，就好像一块山地，你要下山到最低点，每一步都走最陡峭的地方，当然这样可能会走到一个盆地，实现的时候可以调整，但整体是这样的。
定义模型
就像是上面的\(\hat{y}\)
训练模型
多次 预测数据，调整参数，来达到我们想要的理想模型。
损失函数
衡量预测数据与真实数据的误差。
优化算法
选择怎么“下山”，怎么调整参数。可以让下山的步伐变大变小。调整步伐的参数叫学习率。
预测模型
带入数据到模型种
softmax
一张图片怎么学习，把他们的每一个像素离散开来，展开成一行数字。
又引入了一个问题，给你一个2*2的图片，让你判断是猫还是狗。
还是四个特征值x1,x2,x3,x4,叫做输入层。
输出层有两个o1，o2，分别代表猫狗。
模型还是那样。
预测值越大越有可能是那种动物，但我想得到概率，进行softmax运算。
\(P_1=\frac{exp{o_1}}{\sum_{i=1}^{2}exp{o_i}}\)
softmax也常用于分类问题。
多层感知机
顾名思义，不单单只是输入层和输出层了。
我们中间可以加很多层。
比如输入层是3个，我们第一层编程四个节点，下一层五个，在下一层10个，最后两个，都是可以的。
但是，虽然这么多层，但是每一次都是线性变化，最后结果还是类似一层。需要引入激活函数进行非线性变化，比如relu，sigmoid。
卷积和一些模型。
卷积来提取相邻元素的特征值。
LeNet
算是最基本的CNN了。卷积层、激化层、池化层
RestNet
传统CNN随着网络层数的增加，网络会发生了退化。
而引入残差块后，网络可以达到很深，网络的效果也随之变好。
普通网络\(y=f(x)\)
残差网络:\(y=f(x)+x\)
RNN
RNN引入了隐藏状态解决了语言的时序问题，但记忆属于短期记忆，只有最近的输入对当前的输出影响大，也容易发生梯度衰减。我觉得n元语句和他差不多，只不过他太绝对了。
每一个隐藏状态都是由上一个隐藏状态和输入值x的来的。
LSTM
引入了门控制单元和记忆细胞，更加灵活。
能够通过门的控制长期的记忆和短期的记忆。
后记
哈哈，还是太多细节了，单单这么记录还是说不清，以后再开吧。
