摘要：
什么是点击率预估？ ctr的主要任务是预测用户点击某个广告的概率，一般是一个二分类问题，通常需要面对海量的样本和特征，所以算法的效率和性能都比较关键。 评估指标是什么？ 以kaggle上的一个比赛为例(https://www.kaggle.com/c/outbrain click predictio 阅读全文
摘要：
什么是点击率预估？ ctr的主要任务是预测用户点击某个广告的概率，一般是一个二分类问题，通常需要面对海量的样本和特征，所以算法的效率和性能都比较关键。 评估指标是什么？ 以kaggle上的一个比赛为例(https://www.kaggle.com/c/outbrain click predictio 阅读全文
摘要：
摘要： 提出了一个新的语言表示模型(language representation), BERT: Bidirectional Encoder Representations from Transformers。不同于以往提出的语言表示模型，它在每一层的每个位置都能利用其左右两侧的信息用于学习，因此 阅读全文
摘要：
encoder decoder框架 在nlp任务中，比如机器翻译，encoder decoder是一种比较常用的学习框架，将原文x输入到encoder中，encoder输出context c作为decoder的部分输入，这里的c就包含了原文x的所有信息。 RNN RNN由于擅长处理序列特征，因此常被 阅读全文
摘要：
自然语言处理任务中要处理的对象是单词或者词组，单词可以看做是类别型特征，虽然tree based模型可以采用类别特征，但包括神经网络在内的大部分机器学习模型只能处理数值型特征。因此，在使用模型时通常需要将单词等特征转化为数值。最常见的方法是one hot encoding。但这种方法编码出来的特征非 阅读全文
摘要：
结合我之前写的一篇博客来看：http://matafight.github.io/2017/06/24/kaggle%E7%BB%8F%E9%AA%8C/ Step1:导入数据并了解数据轮廓 查看各个特征的基本数据类型并且计算哪些特征缺失值比较多。 将特征的数据类型分为数值型和离散型两大类。 Ste 阅读全文
摘要：
Mastering the game of Go with deep neural networks and tree search 有三个概念需要理解。 1. 蒙特卡洛树搜索 2. 策略网络 3. 值网络 蒙特卡洛树搜索 为什么叫树搜索呢？我们把棋子在棋盘上的落子情况看作棋盘的各个状态。最开始的 阅读全文
摘要：
深度学习引用了很多能指导研究者更好地设计和描述他们的算法的建模机制( Deep Learning draws upon many modelling formalisms that researchers can use to guide their design effects and descr 阅读全文
摘要：
10.10.2 其他类型的门控RNN LSTM网络的哪个结构是最必要的？其他成功的网络结构是怎么被设计成能动态地控制时间尺度而且能忘记不同单元的行为？ 最近的一个关于门控RNN的工作给出了这个问题的答案，所谓门控RNN就是类似于一般的RNN，不过门控RNN中的单元是门控的循环单元(GRU，gated 阅读全文
摘要：
摘要： 这一节主要讲RNN的发展过程，针对如何解决梯度消失和爆炸以及长期依赖问题所引出的一系列解决方法。 一种处理长期依赖的方法是设计一个模型能够在不同时间粒度都能起作用，比如在细粒度上模型能够处理一些细节，在粗的时间粒度上能够将过去的信息传递到未来。 有很多不同的策略能够构建这样一个既有细粒度又有 阅读全文