摘要：
循环神经网络 下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量$H$，用$H_{t}$表示$H$在时间步$t$的值。$H_{t}$的计算基于$X_{t}$和$H_{t 1}$，可以认为$H_{t}$记录了到当前 阅读全文
摘要：
语言模型与数据集 语言模型 假设序列$w_1, w_2, \ldots, w_T$中的每个词是依次生成的，我们有 $$ \begin{align } P(w_1, w_2, \ldots, w_T) &= \prod_{t=1}^T P(w_t \mid w_1, \ldots, w_{t 1})\ 阅读全文
摘要：
文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 1. 读入文本 可以直接利用open读入文本 2. 分词 对每个句子进行分词，也就是将一个句子划分成若干个词（token），转换为一个词的序列 分词的时候很多时候需要一份 阅读全文
摘要：
softmax和分类模型 softmax的基本概念 分类问题 一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。 图像中的4像素分别记为 $x_1, x_2, x_3, x_4$ 假设真实标签为狗、猫或者鸡，这些标签对应的离散值为 $y_1, y_2, y_3$ 。 我们通常使用离散的 阅读全文
摘要：
task|名称|链接 | | | | task01|线性回归| "https://www.cnblogs.com/yu212223/p/12309586.html" task01|softmax和分类模型| "https://www.cnblogs.com/yu212223/p/12309730.h 阅读全文
摘要：
线性回归 线性回归的基本要素 模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系: $$ \mathrm{price} = w_{\mathrm{area}} \cdot 阅读全文
摘要：
多层感知机 多层感知机的基本知识 深度学习主要关注多层模型。在这里，以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。 隐藏层 下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。 表达公式 具体来说，给定一个小批量样本$\bo 阅读全文