摘要：
模型构造 这里主要是要继承nn.Module这个类，然后书写其中的__init__() & forward()方法即可。 参数管理 假设我们已经定义好我们的模型了，那我们参数应该怎么去访问？ 自定义层 自定层其实和自定义网络没有什么区别，因为层也是nn.Module的一个子类。 读写文件 读写文件， 阅读全文
摘要：
实战Kaggle比赛：预测房价 这里主要看自己训练的时候验证和真正提交的时候的差别。 操作总结 # deeplearning 直接省去特征工程这些步骤 # 数据清洗也很简单：标准化 & 离散化 课程竞赛：加州2020年房价预测 沐神说他是使用了AutoML来训练的模型.. 现在的目标就是超过沐神就可 阅读全文
摘要：
数值稳定性 数值的稳定性，这个是机器学习中比较重要的一点，特别是当你的神经网络变的很深的时候，你的数值变的非常容易不稳定。 上面这里的t表示的层，而不是时间。$h^{t-1}$表示t-1层的输出。 这里的y还不是预测值，因为还多了一个损失函数。 向量对向量求导得到的一个矩阵，我们的主要问题就来自这个 阅读全文
摘要：
丢弃法 dropout可能会比之前讲的权重衰退效果更好，应用于防止模型过拟合。 像上图，不管加入多少个点，都要让图片是可以看清的。 使用有噪音的数据，就等价于一个叫做T正则。（正则就是是的权重的值不要太大，避免模型过拟合） **在数据中加入噪音，等价于一个正则。**跟之前加入的噪音不一样，之前是固定 阅读全文
摘要：
权重衰退 如何控制模型的容量呢？ 模型参数个数 参数的取值范围 权重衰退就是控制参数的取值范围来控制模型容量的。 上面的$||w||^2 \leq \theta$ ，则表示为每一个$w$都是要小于$\sqrt{\theta}$。其实也就是强行设置参数的取值的上限。 加了这个罚之后，w确实会变小很多。 阅读全文
摘要：
模型选择 我们其实关心的是泛化误差，并不太关心训练误差。 训练误差：模拟考试成绩。 泛化误差：真实考试成绩。 所以我们会来计算我们训练误差和泛化误差呢？一般会有两种数据集，一个叫做验证集，一个叫做测试集。 一个常犯的错误：验证集和训练集混在一起。 经常在代码中的出现的test_dataset其实并不 阅读全文
摘要：
感知机 1960年的“物理感知机”。 感知机是人工智能最早最早的一个模型。 感知机就是线性回归套了一层激活函数。 因为感知机的输出只有一个元素，所以只能做为一个二分类的问题。 可以理解为感知机使用了$l(y,x,w)=max(0,-y<w,x>)$这个损失函数。（只预测正确的） 多层感知机 多层感知 阅读全文
摘要：
Softmax回归 首先简单理解softmax：就是将一个回归值转换成一个概率（也就是把一个实数，定在[0,1.]中） Softmax回归名字叫做回归，但其实是一个分类问题。（基本是个老师都会重复讲这句话） 分类和回归的差别就在，回归只有一个输出，而分类是有多个输出。一般是有几个类别多少个输出。 并 阅读全文
摘要：
线性回归 线性回归是机器学习中最基础的模型，也是后面我们理解所有模型的一个基础。 之所以在深度学习中讲解线性模型，是因为它可以看作是一个单层神经网络（输出层可以不看做一个层，将权重和输入层看作一层）。 训练数据当然是越多越好，但是也会受限于很多事情，房子售卖数据非常有限。所有我们有很多技术来处理，当 阅读全文
摘要：
自动求导 链式法则，如果扩展到向量，最最重要的还是看形状。 <x,w>这是内积的写法。 自动求导涉及到一个计算图的概念，虽然Pytorch不用要求大家理解计算图，但是理解了对使用TensorFlow等都是有好处的。 计算图其实本质上就和刚刚求导链式法则的过程。 显示构造，就是先构造好这个公式，然后再 阅读全文