随笔分类 - 深度学习
摘要：1. 前言 近一年来，NLP领域发展势头强劲，从ELMO到LSTM再到去年最牛叉的Google Bert，在今年年初，Facebook又推出了 "XLM" 模型，在跨语言预训练领域表现抢眼。实验结果显示 "XLM" 在XNLI任务上比原来的state of the art直接高了4.9个百分点；在无
阅读全文
摘要："超参数优化" "Bayesian Optimization使用Hyperopt进行参数调优" 1. 前言 本文将介绍一种快速有效的方法用于实现机器学习模型的调参。有两种常用的调参方法：网格搜索和随机搜索。每一种都有自己的优点和缺点。网格搜索速度慢，但在搜索整个搜索空间方面效果很好，而随机搜索很快，
阅读全文
摘要："超参数优化" "Bayesian Optimization使用Hyperopt进行参数调优" 1. 前言 现在的机器学习和深度学习中，在模型结构确定的情况下，不同的超参数的选择对整个结果的好坏有着至关重要的影响。不少人还嬉称人工智能工程师，其实是“调参侠”。 1.1 超参数 在模型开始学习过程之前
阅读全文
摘要："1. 语言模型" "2. Attention Is All You Need（Transformer）算法原理解析" "3. ELMo算法原理解析" "4. OpenAI GPT算法原理解析" "5. BERT算法原理解析" "6. 从Encoder Decoder(Seq2Seq)理解Atten
阅读全文
摘要："1. 语言模型" "2. Attention Is All You Need（Transformer）算法原理解析" "3. ELMo算法原理解析" "4. OpenAI GPT算法原理解析" "5. BERT算法原理解析" "6. 从Encoder Decoder(Seq2Seq)理解Atten
阅读全文
摘要："1. RNN神经网络模型原理" "2. RNN神经网络模型的不同结构" "3. RNN神经网络 LSTM模型结构" 1. 前言 之前我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short Term
阅读全文
摘要："1. RNN神经网络模型原理" "2. RNN神经网络模型的不同结构" "3. RNN神经网络 LSTM模型结构" 1. 前言 RNN( Recurrent Neural Network 循环(递归)神经网络) 跟人的大脑记忆差不多。我们的任何决定，想法都是根据我们之前已经学到的东西产生的。RNN
阅读全文
摘要："1. RNN神经网络模型原理" "2. RNN神经网络模型的不同结构" "3. RNN神经网络 LSTM模型结构" 1. 前言 循环神经网络（recurrent neural network）源自于1982年由Saratha Sathasivam 提出的霍普菲尔德网络。 传统的机器学习算法非常依赖
阅读全文
摘要："1. Tensorflow高效流水线Pipeline" "2. Tensorflow的数据处理中的Dataset和Iterator" "3. Tensorflow生成TFRecord" "4. Tensorflow的Estimator实践原理" 1. 前言 前面博文介绍了Tensorflow的一大
阅读全文
摘要："1. Tensorflow高效流水线Pipeline" "2. Tensorflow的数据处理中的Dataset和Iterator" "3. Tensorflow生成TFRecord" "4. Tensorflow的Estimator实践原理" 1. 前言 GPU和TPU可以显著缩短执行单个训练步
阅读全文
摘要："1. Tensorflow高效流水线Pipeline" "2. Tensorflow的数据处理中的Dataset和Iterator" "3. Tensorflow生成TFRecord" "4. Tensorflow的Estimator实践原理" 1. 前言 TFRecord是TensorFlow官
阅读全文
摘要："1. Tensorflow高效流水线Pipeline" "2. Tensorflow的数据处理中的Dataset和Iterator" "3. Tensorflow生成TFRecord" "4. Tensorflow的Estimator实践原理" 1. 前言 我们在训练模型的时候，必须经过的第一个步
阅读全文
摘要：1. 前言 本文介绍一种无监督的机器翻译的模型。无监督机器翻译最早是 "《UNSUPERVISED NEURAL MACHINE TRANSLATION》" 提出。这个模型主要的特点，无需使用平行语料库，使用去噪和回译的步骤构建NMT系统。 2018年Facebook人工智能实验室再次公布了有关无监
阅读全文
摘要：1. 前言 近年来，NLP领域发展迅速，而机器翻译是其中比较成功的一个应用，自从2016年谷歌宣布新一代谷歌翻译系统上线，神经机器翻译（NMT，neural machine translation）就取代了统计机器翻译（SMT，statistical machine translation），在翻译
阅读全文
摘要："1. DNN神经网络的前向传播（FeedForward）" "2. DNN神经网络的反向更新（BP）" "3. DNN神经网络的正则化" 1. 前言 和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。 2. DNN的L1和L2正则化 想到
阅读全文
摘要：1. 前言 我们在学习人工智能的时候，不管是机器学习还是深度学习都需要经历一个调参的过程，参数的好坏直接影响这模型效果的好坏。今天我们介绍下在深度学习中，调参的技巧主要分为哪些。 2. 深度学习中的主要参数 学习率（learning rate）：学习率的取值一般是1、0.1、0.01、0.001等，
阅读全文
摘要："1. CNN卷积网络 初识" "2. CNN卷积网络 前向传播算法" "3. CNN卷积网络 反向更新" 1. 前言 如果读者详细的了解了 "DNN神经网络的反向更新" ，那对我们今天的学习会有很大的帮助。我们的CNN卷机网络中有3种网络结构。1. 卷积层，2.池化层，3.全连接层。全连接层的反向
阅读全文
摘要："1. CNN卷积网络 初识" "2. CNN卷积网络 前向传播算法" "3. CNN卷积网络 反向更新" 1. 前言 我们已经了解了CNN的结构，CNN主要结构有输入层，一些卷积层和池化层，后面是DNN全连接层，最后是Softmax激活函数的输出层。这里我们用一个彩色的汽车样本的图像识别再从感官上
阅读全文
摘要："1. CNN卷积网络 初识" "2. CNN卷积网络 前向传播算法" "3. CNN卷积网络 反向更新" 1. 前言 卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面， 1. 它的神经元间的连接是非全连接的， 2. 同一层中某些神经元之间的连接的权重是共享的（即相同的）。 它的
阅读全文
摘要："1. DNN神经网络的前向传播（FeedForward）" "2. DNN神经网络的反向更新（BP）" "3. DNN神经网络的正则化" 1. 前言 "DNN前向传播" 介绍了DNN的网络是如何的从前向后的把数据传递过去的，但是只有这个过程还不够，我们还需要想办法对所有参数进行一个梯度的更新，才能
阅读全文
