摘要：
1. 前言 近一年来，NLP领域发展势头强劲，从ELMO到LSTM再到去年最牛叉的Google Bert，在今年年初，Facebook又推出了 "XLM" 模型，在跨语言预训练领域表现抢眼。实验结果显示 "XLM" 在XNLI任务上比原来的state of the art直接高了4.9个百分点；在无 阅读全文
摘要：
1. 前言 在前面的章节中我们介绍了时序差分算法（TD）和Q Learning，当状态和动作空间是离散且维数不高时可使用Q Table储存每个状态动作对的Q值，而当状态和动作空间是高维连续时，使用Q Table不动作空间和状态太大十分困难。所以论文Human level control throug 阅读全文
摘要：
"超参数优化" "Bayesian Optimization使用Hyperopt进行参数调优" 1. 前言 本文将介绍一种快速有效的方法用于实现机器学习模型的调参。有两种常用的调参方法：网格搜索和随机搜索。每一种都有自己的优点和缺点。网格搜索速度慢，但在搜索整个搜索空间方面效果很好，而随机搜索很快， 阅读全文
摘要：
"超参数优化" "Bayesian Optimization使用Hyperopt进行参数调优" 1. 前言 现在的机器学习和深度学习中，在模型结构确定的情况下，不同的超参数的选择对整个结果的好坏有着至关重要的影响。不少人还嬉称人工智能工程师，其实是“调参侠”。 1.1 超参数 在模型开始学习过程之前 阅读全文
摘要：
1. 前言 XLNet "原文链接" 是CMU与谷歌大脑提出的全新NLP模型，在20个任务上超过了BERT的表现，并在18个任务上取得了当前最佳效果，包括机器问答、自然语言推断、情感分析和文档排序。 这篇新论文中，作者从自回归（autoregressive）和自编码（autoencoding）两大范 阅读全文
摘要：
"1. 语言模型" "2. Attention Is All You Need（Transformer）算法原理解析" "3. ELMo算法原理解析" "4. OpenAI GPT算法原理解析" "5. BERT算法原理解析" "6. 从Encoder Decoder(Seq2Seq)理解Atten 阅读全文
摘要：
1. 前言 Q Learning算法也是时序差分算法的一种，和我们前面介绍的SARAS不同的是，SARSA算法遵从了交互序列，根据当前的真实行动进行价值估计；Q Learning算法没有遵循交互序列，而是在当前时刻选择了使价值最大的行动。 2. Q Learning Q Learning算法在计算当 阅读全文
摘要：
1. 前言 我们前面介绍了第一个Model Free的模型蒙特卡洛算法。蒙特卡罗法在估计价值时使用了完整序列的长期回报。而且蒙特卡洛法有较大的方差，模型不是很稳定。本节我们介绍时序差分法， 时序差分法不需要完整的序列，并且利用Bellman公式和动态规划进行迭代 。 2. 时序差分和蒙特卡洛比较 前 阅读全文
摘要：
"1. 语言模型" "2. Attention Is All You Need（Transformer）算法原理解析" "3. ELMo算法原理解析" "4. OpenAI GPT算法原理解析" "5. BERT算法原理解析" "6. 从Encoder Decoder(Seq2Seq)理解Atten 阅读全文
摘要：
1. 前言 最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回 阅读全文