摘要：
在本节中，我们假设前馈网络提供了一组定义为 $h = f(x; θ)$ 的隐藏特征。输出层的作用是随后对这些特征进行一些额外的变换来完成整个网络必须完成的任务。 1 线性输出单元 一种简单的输出单元是基于仿射变换的输出单元，仿射变换不具有非线性。这些单元往往被直接称为线性单元。 给定特征 $h$，线 阅读全文
摘要：
收敛速度 这里首先需要给收敛速度做一个诠释。模型的最优解即是模型参数的最优解。通过逐轮迭代，模型参数会被更新到接近其最优解。这一过程中，迭代轮次多，则我们说模型收敛速度慢；反之，迭代轮次少，则我们说模型收敛速度快。 参数更新 深度学习一般的学习方法是反向传播。简单来说，就是通过链式法则，求解全局损失 阅读全文
摘要：
softmax回归 前面介绍了线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如 softmax 回归在内的分类模型。和线性回归不同，softmax 回归的输出单元从一个变成了多个，且引入了 softmax 运算 阅读全文
摘要：
线性回归的从零开始实现 在了解了线性回归的背景知识之后，现在我们可以动手实现它了。尽管强大的深度学习框架可以减少大量重复性工作，但若过于依赖它提供的便利，会导致我们很难深入理解深度学习是如何工作的。 首先，导入本节中实验所需的包或模块，其中的 matplotlib 包可用于作图，且设置成嵌入显示。 阅读全文
摘要：
线性回归理论部分《机器学习——线性回归》 1 线性回归 线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题 阅读全文
摘要：
1 批量梯度下降 在经典的随机梯度下降算法（批量梯度下降）中，迭代下降公式是 $x_{t+1}=x_{t}-\alpha \nabla f\left(x_{t}\right)$ 以一元线性回归的目标函数为例 $\sum \limits _{i=1}^{n}\left(a x_{i}+b-y_{i}\ 阅读全文
摘要：
“没有测量，就没有科学。”这是科学家门捷列夫的名言。在计算机科学特别是机器学习领域中，对模型的评估同样至关重要。只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要分为离线评估和在线评估两个阶段。针对分类、排序、回归、 序列预测等不同类型的 阅读全文
摘要：
1 引入 俗话说，“巧妇难为无米之炊”。在机器学习中，数据和特征便是“米”，模型和算法则是“巧妇”。没有充足的数据、合适的特征，再强大的模型结构也无法得到满意的输出。 特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。从本质上来讲，特征工程是一个表示和展现 阅读全文
摘要：
1 损失函数、代价函数 与 目标函数 损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。 代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。 目标函数（Object Function）：是指最终需要优化的 阅读全文
摘要：
1 交叉熵(Cross Entropy) 考虑一种情况，对于一个样本集，存在两个概率分布 $p(x)$ 和 $q(x)$，其中 $p(x)$ 为真实分布，$q(x)$ 为非真实分布。基于真实分布 $p(x)$ 我们可以计算这个样本集的信息熵也就是编码长度的期望为： $H(p)=-\sum \limi 阅读全文