摘要：
训练误差和泛化误差 需要区分训练误差（training error）和泛化误差（generalization error）。前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函 阅读全文
摘要：
循环神经网络 下图展示了如何基于循环神经网络实现语言模型。目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量𝐻，用𝐻𝑡表示𝐻在时间步𝑡的值。𝐻𝑡的计算基于𝑋𝑡和𝐻𝑡−1，可以认为𝐻𝑡记录了到当前字符为止的序列信息，利用𝐻𝑡对序列的下 阅读全文
摘要：
语言模型 一段自然语言文本可以看作是一个离散时间序列，给定一个长度为𝑇的词的序列𝑤1,𝑤2,…,𝑤𝑇，语言模型的目标就是评估该序列是否合理，即计算该序列的概率： 本节我们介绍基于统计的语言模型，主要是𝑛元语法（𝑛-gram）。 语言模型 假设序列𝑤1,𝑤2,…,𝑤𝑇中的每个词是 阅读全文
摘要：
文本预处理 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 读入文本 import collections import re def read_time_machine(): with open('/home/kesci/inp 阅读全文
摘要：
多层感知机 深度学习主要关注多层模型，现在以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。 隐藏层 多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。图展示了一个多层感知机的神经网络图。 模 阅读全文
摘要：
一、模型举例 1. 预测政治倾向例子 模型1 模型1对于样本1和样本2以非常微弱的优势判断正确，对于样本3的判断则彻底错误。 模型2： 型2对于样本1和样本2判断非常准确，对于样本3判断错误，但是相对来说没有错得太离谱。 二、模型分类 1、Classification Error 损失函数定义为： 阅读全文
摘要：
softmax的基本概念 分类问题 一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。图像中的4像素分别记为𝑥1,𝑥2,𝑥3,𝑥4。假设真实标签为狗、猫或者鸡，这些标签对应的离散值为𝑦1,𝑦2,𝑦3。我们通常使用离散的数值来表示类别，例如𝑦1=1,𝑦2=2,𝑦3=3 阅读全文
摘要：
安装各种机器学习包的时候，经常出现无法下载安装包的问题，而导致安装失败。清华的镜像速度很快，下面对本方法进行讲解。 命令法 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple packages 注：把packages替换为安装模块。 配置法 阅读全文
摘要：
一、线性回归 1、模型 2、损失函数 3、优化函数-梯度下降 #!/usr/bin/env python # coding: utf-8 import torch import time # init variable a, b as 1000 dimension vector n = 1000 a 阅读全文