One-Way
爱一人,攀一山,追一梦

MapReduce实现基于物品的协同过滤:

 

实现过程中需要执行多个mapreduce任务。

初始数据:

u1,i101,5.0
u1,i102,3.0
u1,i103,2.5
u2,i101,2.0
u2,i102,2.5
u2,i103,5.0
u2,i104,2.0
u3,i101,2.0
u3,i104,4.0
u3,i105,4.5
u3,i107,5.0
u4,i101,5.0
u4,i103,3.0
u4,i104,4.5
u4,i106,4.0
u5,i101,4.0
u5,i102,3.0
u5,i103,2.0
u5,i104,4.0
u5,i105,3.5
u5,i106,4.0

 

job1: 生成用户对物品喜爱度矩阵

数据:初始数据

map:

key=userid

value=item:grade

reduce:

key=userid

value=item:grade,item:grade

结果:

u1 i101:5.0,i102:3.0,i103:2.5
u2 i101:2.0,i102:2.5,i103:5.0,i104:2.0
u3 i107:5.0,i105:4.5,i104:4.0,i101:2.0
u4 i106:4.0,i103:3.0,i101:5.0,i104:4.5
u5 i104:4.0,i105:3.5,i106:4.0,i101:4.0,i102:3.0,i103:2.0

 

job2: 生成物品与物品的同现矩阵

数据:job1的结果数据

map:

例,将i101 ,i102 ,i103 循环组合

key=item:item

value=1

reduce:

key=item:item

value=n

结果:

i101:i104 4
i101:i105 2
i101:i106 2
i101:i107 1
i102:i101 3
i102:i102 3
i102:i103 3
i102:i104 2
i102:i105 1
i102:i106 1
i103:i101 4
i103:i102 3
i103:i103 4
i103:i104 3
i103:i105 1
i103:i106 2
i104:i101 4
i104:i102 2
i104:i103 3
i104:i104 4
i104:i105 2
i104:i106 2
i104:i107 1
i105:i101 2
i105:i102 1
i105:i103 1
i105:i104 2
i105:i105 2
i105:i106 1
i105:i107 1
i106:i101 2
i106:i102 1
i106:i103 2
i106:i104 2
i106:i105 1
i106:i106 2
i107:i101 1
i107:i104 1
i107:i105 1
i107:i107 1

 

job3:将同现矩阵和用户喜爱度矩阵进行相乘

数据:job1和job2的输出数据

map:

区分不同的数据进行处理,根据文件目录进行区分

FileSplit split = (FileSplit)context.getInputSplit();
dirName = split.getPath().getParent().getName();

job1的数据经过map处理:

i101 B:u1,5.0
i102 B:u1,3.0
i103 B:u1,2.5

job2的数据经过map处理:

i101 A:i101,5

key=item

value=B:u1,5.0或A:i101,5

reduce:

针对同一个item的数据,A的数据,分别和B的数据进行相乘

key=user

value=item,score

u2      i105,4.0

结果:

u2 i105,4.0
u1 i105,10.0
u4 i105,10.0
u3 i105,4.0
u5 i105,8.0
u2 i104,8.0
u1 i104,20.0
u4 i104,20.0
u3 i104,8.0
u5 i104,16.0
u2 i107,2.0
u1 i107,5.0
u4 i107,5.0
u3 i107,2.0
u5 i107,4.0
u2 i106,4.0
u1 i106,10.0
u4 i106,10.0
u3 i106,4.0
u5 i106,8.0
u2 i101,10.0
u1 i101,25.0
u4 i101,25.0
u3 i101,10.0
u5 i101,20.0
u2 i103,8.0
u1 i103,20.0
u4 i103,20.0
u3 i103,8.0
u5 i103,16.0
u2 i102,6.0
u1 i102,15.0
u4 i102,15.0
u3 i102,6.0
u5 i102,12.0
u2 i105,2.5
u1 i105,3.0
u5 i105,3.0
u2 i104,5.0
u1 i104,6.0
u5 i104,6.0
u2 i106,2.5
u1 i106,3.0
u5 i106,3.0
u2 i101,7.5
u1 i101,9.0
u5 i101,9.0
u2 i103,7.5
u1 i103,9.0
u5 i103,9.0
u2 i102,7.5
u1 i102,9.0
u5 i102,9.0
u2 i105,5.0
u1 i105,2.5
u4 i105,3.0
u5 i105,2.0
u2 i104,15.0
u1 i104,7.5
u4 i104,9.0
u5 i104,6.0
u2 i106,10.0
u1 i106,5.0
u4 i106,6.0
u5 i106,4.0
u2 i101,20.0
u1 i101,10.0
u4 i101,12.0
u5 i101,8.0
u2 i103,20.0
u1 i103,10.0
u4 i103,12.0
u5 i103,8.0
u2 i102,15.0
u1 i102,7.5
u4 i102,9.0
u5 i102,6.0
u2 i105,4.0
u4 i105,9.0
u3 i105,8.0
u5 i105,8.0
u2 i104,8.0
u4 i104,18.0
u3 i104,16.0
u5 i104,16.0
u2 i107,2.0
u4 i107,4.5
u3 i107,4.0
u5 i107,4.0
u2 i106,4.0
u4 i106,9.0
u3 i106,8.0
u5 i106,8.0
u2 i101,8.0
u4 i101,18.0
u3 i101,16.0
u5 i101,16.0
u2 i103,6.0
u4 i103,13.5
u3 i103,12.0
u5 i103,12.0
u2 i102,4.0
u4 i102,9.0
u3 i102,8.0
u5 i102,8.0
u3 i105,9.0
u5 i105,7.0
u3 i104,9.0
u5 i104,7.0
u3 i107,4.5
u5 i107,3.5
u3 i106,4.5
u5 i106,3.5
u3 i101,9.0
u5 i101,7.0
u3 i103,4.5
u5 i103,3.5
u3 i102,4.5
u5 i102,3.5
u4 i105,4.0
u5 i105,4.0
u4 i104,8.0
u5 i104,8.0
u4 i106,8.0
u5 i106,8.0
u4 i101,8.0
u5 i101,8.0
u4 i103,8.0
u5 i103,8.0
u4 i102,4.0
u5 i102,4.0
u3 i105,5.0
u3 i104,5.0
u3 i107,5.0
u3 i101,5.0

 

Job4: 矩阵乘法求和

map:

不做特殊处理

key:user

value:item,score

reduce:

将相同的user及item的score的值进行相加。

key:user  

value:item,score

结果:

u1 i105:15.5
u1 i104:33.5
u1 i107:5.0
u1 i106:18.0
u1 i101:44.0
u1 i103:39.0
u1 i102:31.5
u2 i105:15.5
u2 i104:36.0
u2 i107:4.0
u2 i106:20.5
u2 i101:45.5
u2 i103:41.5
u2 i102:32.5
u3 i105:26.0
u3 i104:38.0
u3 i107:15.5
u3 i106:16.5
u3 i101:40.0
u3 i103:24.5
u3 i102:18.5
u4 i105:26.0
u4 i104:55.0
u4 i107:9.5
u4 i106:33.0
u4 i101:63.0
u4 i103:53.5
u4 i102:37.0
u5 i105:32.0
u5 i104:59.0
u5 i107:11.5
u5 i106:34.5
u5 i101:68.0
u5 i103:56.5
u5 i102:42.5

此结果为用户对各个物品的喜爱度。

 

posted on 2016-07-08 17:59  单行道|  阅读(404)  评论(0编辑  收藏  举报