基于概率的相似度定义方法
本文的主要内容来自百分点科技
问题定义：
本文在基于item协同过滤算法的框架下，定义了一种新的item相似度计算方法。该方法是一种基于概率的算法，即两个item的相似度为一个用户随机的选择item，同时选到这两个item的概率。本文的实验结果表明，本文的算法准确率要比传统的算法要好，并且本文也给出了该算法在hadoop上的实现过程。
方法：
1. 基本定义
首先定义了几个概念：
分别是选择item y的用户集合和用户u选择的item集合。
如果从item的角度来看，商品x被用户u选择户u选择的概率应该为这个item(x)的度比上所有user的数，即
如果从user的角度来看，用户u选择商品x的概率应该为这个用户的度比上所有item的数目，即
下图是用户选择商品的矩阵图，其中橙色的点表示用户喜欢相应的商品，图中没有标记出用户不喜欢商品
注：A表示所有的items U表示所有的users L(x)表示喜欢item(x)的users集 L(u)表示用户u所喜欢的items集
根据上述的定义，那些出现橙色点的概率应该为
其展开形式为
这些点在本文中定义为positive case，与positive case对应的是negative case，即用户不喜欢商品的概率
结合上述的两种情况，我们最终可以得到用户u选择商品x的概率为
2. 考虑数据density的影响
在上面两个图中，用户u和商品x都是一样，不同的是，左图在x和u附件橙色点比较少，而在右图，x和u附近的橙色点比较多，虽然是同样的用户和同样的商品，但是在上面两个图中计算出来的概率不一样的，左右俩图中A和U值是相等的，所以p(u,x)的值只受到L(u)和L(x)的影响，由于密度的不同，对于密度大的右图来说，item(x)被随机用户u随机选中的概率会大于左边，因此本文在原来的基础上加入了权重因子π来影响这种density的影响
令V为上图中的所有橙色点的总数目，则从平均的角度来看，每个用户橙色点的数目应该为
每一个item被用户喜欢的概率为
所以user喜欢某个item的概率等价于
于是
最终可推导出
最终本文定义的用户u喜欢商品x的概率为
3. Item的相似度定义方法
首先用户u同时喜欢商品x和y的概率为
而两个商品的交集为
因此两个商品的相似度为
求出了item之间的相似度矩阵，就可以利用基本的协同过滤框架来构造推荐集了由于本文中的item相似度是基于概率的，所以在进行推荐的时候也拓展了一个新的算法
4.算法描述
前面求出的基于概率的item相似度是基于user-item矩阵随机分布为前提的，但是我们现在知道了用户已经喜欢了某些item子集了，假设为y，所以用户由于喜欢y而喜欢item(x)的概率为
现在的问题是我们怎么把所有y的子集联合起来得出用户喜欢item(x)的概率，考虑到sim(x,y)的值表示x和y之间的概率相似度，亦即当
sim(x,y)=1表示俩者之间没有关系
sim(x,y)<1表示俩者之间存在反向关系
sim(x,y)>1表示俩者之间存在正相关关系
所以x,y的相似度可以转化为
于是在已知用户喜欢的item子集前提下用户喜欢item(x)的倾向为
4. 实验结果
实验数据集取自Video-on-Demand和MovieLens
从上图中可以看出，本文的算法ProbSim要比其他的一些方法好要，除了基于矩阵分解算法(Vendor_B)和基于语义算法(Vendor_A)。在Precision指标上，本文算法又要好于这两个算法，如下图所示：
下图是MovieLens的实验结果
该文章中提供了一种分布式Mapreduce框架的编码思路，写得还算是挺清楚明了的，不过自己按着文章的思路来写代码的时候还是转了不少的弯路，例如先直接求出了user-item的概率矩阵，如果先直接求出这个矩阵，它的规模是1000万X1万，大概就是1000亿的数据级别，本人用的是自己的数据，规模只有250万X1500，大概40亿的级别，集群10个节点，运行到90%的时候单点空间不够任务竟然失败了，后来再认真的看了文章中关于概率相似度那一点的并行运算方法，经修改后才得以顺利运行。
不过我只做到求出item相似度而已，业务上没有必要求最后一步，所以也就没继续折腾下去了，感觉也不好写代码，因为里面也是要再一次生成一个user-item的概率矩阵。
最后给出一些大概的结果，sim在这里表示用户随机选择情况下item(x,y)同时出现的概率因子
5.结果对比
没办法，闲着蛋疼，而且也很手痒，所以还是把全部的步骤都走了一番
数据选取：2013-03-22～2013-03-31汽车网整站数据，主要用以生成项目相似度跟用户推荐列表，最终为每用户生成10个推荐项目
推荐结果集格式如下：
user array1<item> array2<item> match
第一列代表唯一用户，第二列代表用户有2013-04-01当天的访问项目，第三列代表根据用户先前的行为给出的10个推荐项目集，第四列代表俩个集的交集个数
随机抽取出20万用户，查准率只有1.32%，查全率为3.34%
这结果吓死哥了，不给力啊，难道是我哪里出错了不成
我自己弄了一套用关联规则做相似度的协同过滤算法的结果如下
查准率是3.87%，查全率是10.5%
这不科学啊。。。。好可怕
不过有一个发现就是ProbSim的结果多样性比较好，而关联规则的结果是比较偏向推热门
文章下载地址： http://openresearch.baidu.com/u/cms/www/201210/30145028ysy1.pdf
【个性化推荐引擎】基于概率的相似度定义方法： http://blog.baifendian.com/?p=1923
