FM算法(二):工程实现
主要内容:
- 实现方法
- Python实现FM算法
- libFM
一、实现方法
1、FM模型函数
变换为线性复杂度的计算公式:
2、FM优化目标
根据不同的应用,FM可以采用不同的损失函数loss function来作为优化目标,如回归Regression:y^(x)直接作为预测值,损失函数可以采用least square error;二值分类Binary Classification:y^(x)需转化为二值标签,如0,1。损失函数可以采用hinge loss或logit loss;排序Rank:x可能需要转化为pair-wise的形式如(X^a,X^b),损失函数可以采用pairwise loss。
不管采用哪种损失函数,我们都可以通过随机梯度下降的方法来求解,如下:
3、实现步骤
主要超参数有:初始化参数、学习率、正则化稀疏
二、 Python实现FM算法
1、简介
下面通过一个简单的数据集和基于随机梯度下降的方法来实现FM算法(不加正则化),采用python语言。
2、代码
地址:https://github.com/jizhihui/fm_python
三、 libFM
简介
libFM是FM算法的开源实现工具,包含SGD、ALS、MCMC等实现方法(具体参考论文《Factorization Machines with libFM》),可以应用于回归和分类等问题。
使用
- 数据格式:
libFM支持libsvm的数据格式,即 label index:value index:value的形式
2)使用方法(命令行):
./libFM -method mcmc -task r -dim '1;1;8' -init_stdev 0.1 -iter 100 -test ml1m-test.libfm -train ml1m-train.libfm -out ml1m-test.pred
3)详细