摘要：
从线性回归，logistic回归，softmax回归，最大熵的概率解释来看，我们会发现线性回归是基于高斯分布+最大似然估计的结果，logistic回归是伯努利分布+对数最大似然估计的结果，softmax回归是多项分布+对数最大似然估计的结果，最大熵是基于期望+对数似然估计的结果。前三者可以从广义线性 阅读全文
摘要：
Seq2seq Seq2seq全名是Sequence to sequence，也就是从序列到序列的过程，是近年当红的模型之一。Seq2seq被广泛应用在机器翻译、聊天机器人甚至是图像生成文字等情境。 seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序 阅读全文
摘要：
RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。 RNN的应用领域有很多, 可以说只要考虑时间先后顺序的 阅读全文
摘要：
在CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，因此学者们通过Deep Network来建模更高阶的特征之间的关系。 因此,FM和深度网络DNN的结合也 阅读全文
摘要：
本文记录几个在广告和推荐里面rank阶段常用的模型。 广告领域机器学习问题的输入其实很大程度了影响了模型的选择，因为输入一般维度非常高，稀疏，同时包含连续性特征和离散型特征。模型即使到现在DeepFM类的方法，其实也都很简单。模型的发展主要体现于对特征的充分挖掘上，比如利用低阶和高阶特征、尝试自动学 阅读全文
摘要：
在计算广告中，CTR是非常重要的一环。对于特征组合来说，业界通用的做法主要有两大类：FM系列和Tree系列。这里我们来介绍一下FM系列。 在传统的线性模型中，每个特征都是独立的，如果需要考虑特征与特征之间的相互作用，可能需要人工对特征进行交叉组合。非线性SVM可以对特征进行核变换，但是在特征高度稀疏 阅读全文
摘要：
如何在没有大量用户数据的情况下设计个性化推荐系统并且让用户对推荐结果满意从而愿意使用推荐系统，就是冷启动的问题。 冷启动问题（cold start）主要分3类。 用户冷启动 物品冷启动 系统冷启动 1）用户冷启动可以利用用户注册信息，也可以选择合适的物品启动用户的兴趣（基于NLP方向的推荐） 2）物 阅读全文
摘要：
推荐系统是一种信息过滤系统，用于预测用户对物品的评分或偏好。解决的是信息过载和长尾问题(长尾理论)。它的本质是通过一定的方式将用户和物品联系起来。 推荐系统在为用户推荐物品时通常有两种方式： 1.评分预测 2.TopN推荐 主流的推荐系统算法可以分为协同过滤推荐（Collaborative Filt 阅读全文
摘要：
概率图模型（PGM）是一种对现实情况进行描述的模型。其核心是条件概率，本质上是利用先验知识，确立一个随机变量之间的关联约束关系，最终达成方便求取条件概率的目的。 概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边，节点对应于随机变量，边对应于随机变量的依赖或相关关系。 概率图模型分为贝叶斯网 阅读全文
摘要：
集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 目前主流方法有三种： 1.Boosting方法：包括Adaboost，GBDT, XGBoost等 2.Bagging方法：典型的是Random Forest 3.Stacking算法 RF Random Fores 阅读全文