随笔分类 - 机器学习Machine Learning
摘要:主要内容: 实现方法 Python实现FM算法 libFM 一、实现方法 1、FM模型函数 变换为线性复杂度的计算公式: 2、FM优化目标 根据不同的应用,FM可以采用不同的损失函数loss function来作为优化目标,如回归Regression:y^(x)直接作为预测值,损失函数可以采用least square error;二值分类Binary Classification:y^...
阅读全文
摘要:主要内容: 动机 FM算法模型 FM算法VS 其他算法 一、动机 在传统的线性模型如LR中,每个特征都是独立的,如果需要考虑特征与特征直接的交互作用,可能需要人工对特征进行交叉组合;非线性SVM可以对特征进行kernel映射,但是在特征高度稀疏的情况下,并不能很好地进行学习;现在也有很多分解模型Factorization model如矩阵分解MF、SVD++等,这些模型可以学习到特征之间的交互...
阅读全文
摘要:混合高斯模型(Mixtures of Gaussians)和EM算法 主要内容: 1、 概率论预备知识 2、 单高斯模型 3、 混合高斯模型 4、 EM算法 5、 K-means聚类算法 一、概率论预备知识 1、 数学期望/均值、方差/标准差 设离散型随机变量X的分布律为 则称为X的数学期望或均值 设连续型随机变量X的概率密度函数(pdf)...
阅读全文