基于物品的协同过滤（u2i2i）
一、概述
核心思想：根据所有用户对物品或者信息的评价，发现物品和物品之间的相似度，然后根据用户的历史偏好信息将类似的物品推荐给该用户。
二、优点
UserCF的缺点：
（1）用户数量往往比较大，计算起来非常吃力，成为瓶颈。
（2）用户的口味其实变化还是很快的，不是静态的，所以兴趣迁移问题很难反映出来。
（3）数据稀疏，用户和用户之间有共同的消费行为实际上是比较少的，而且一般都是热门物品，对发现用户兴趣帮助也不大。
Iterm CF 如何解决上面的问题呢？
（1）首先，物品的数量，或者严格的说，可以推荐的物品数量往往少于用户数量；所以一般计算物品之间的相似度就不会成为瓶颈。
（2）其次，物品之间的相似度比较静态，它们变化的速度没有用户的口味变化快；所以完全解耦了用户兴趣迁移这个问题。
（3）最后，物品对应的消费者数量较大，对于计算物品之间的相似度稀疏是好过计算用户之间相似度的。
三、整体流程
1、由u2u2i（基于用户的协同过滤） 可以知道基于用户听歌日志表得到用户对音乐的喜爱程度字段
userid , musicid, rating
2、计算分子和分母，详细过程如下
3、计算物品之间的相似矩阵
4、制作用户物品推荐评分，用于线上推荐（日更）
参考代码：
import breeze.numerics.{pow, sqrt} import org.apache.spark.sql.{DataFrame, SparkSession} import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functions.{desc, row_number, udf} object RecallItermCf { def main(args: Array[String]): Unit = { val sparkSession = SparkSession .builder() .master("local[*]") .appName("feat_eg") .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") // .config("hive.metastore.uris", // "thrift://"+"192.168.10.42"+":9083") // .config("spark.storage.memoryFraction",0.6) .enableHiveSupport() .getOrCreate() import sparkSession.implicits._ val uerLogPath = "E:\\tmp\\badou\\music_data\\user_listen.csv" val user_listen: DataFrame = sparkSession.read.format("csv").option("header", "true").load(uerLogPath) // 2.计算用户听某一首歌曲的总时间 val itemTotalTime = user_listen.selectExpr("userId", "musicId", "cast(remainTime as double)", "cast(durationHour as double)"). groupBy("userId", "musicId"). sum("remainTime"). withColumnRenamed("sum(remainTime)", "itemTotalTime") // 用户总共听歌时长 val totalTime = user_listen.selectExpr("userId", "musicId", "cast(remainTime as double)", "cast(durationHour as double)"). groupBy("userId"). sum("remainTime"). withColumnRenamed("sum(remainTime)", "totalTime") // uid ,iid ,rating val data = itemTotalTime.join(totalTime, "userId"). selectExpr("userId", "musicId as itemId", "itemTotalTime/totalTime as rating").limit(10) data.show(false) /*** *2.计算物品相似度 */ //2.1计算分子 //1.计算两个物品点击的用户有哪些，过滤掉两个一样的物品，因为他们的用户肯定一样。计算相似读为1，也不必计算。 val dataCopy = data.selectExpr("userId as userId1", "itemId as itemId1", "rating as rating1") val df_item_decare = dataCopy. join(data, dataCopy("userId1") === data("userId")). filter("cast(itemId as long)!=cast(itemId1 as long)"); //2.计算两个物品，评分相乘。 val rating_product = df_item_decare.selectExpr("itemId", "itemId1", "rating*rating1 as rating_product") //3.得到分子 val itemSameUserRatingProductSum = rating_product. groupBy("itemId", "itemId1"). agg("rating_product" -> "sum"). withColumnRenamed("sum(rating_product)", "rating_sum_product") /*** * itemSameUserRatingProductSum * +----------+----------+--------------------+ * | itemId| itemId1| rating_sum_product| * +----------+----------+--------------------+ * | 588400351|4563509337|0.041795941194973006| * |9773909220|6650509295| 0.1377822768744407| * |8969009236| 517009772| 0.21658469755042362| * +----------+----------+--------------------+ */ // 下面这几部 val itemSqrtRatingSum = data.rdd.map(x => (x(1).toString(), x(2).toString)). groupByKey(). mapValues(x => sqrt(x.toArray.map(rating => pow(rating.toDouble, 2)).sum)). toDF("itemId", "sqrtRating") /*** +----------+-------------------+ | itemId| sqrtRating| +----------+-------------------+ | 244400255|0.09191077667293739| |8753609189| 1.0070562241992123| | 527009593|0.09236453201970443| +----------+-------------------+ */ //计算相似性 val itemSqrtRatingSumCopy = itemSqrtRatingSum.selectExpr("itemId as itemIdCopy", "sqrtRating as sqrtRatingCopy") // dataCopy.cache() // dataCopy.show(3) val baseData = itemSameUserRatingProductSum.join(itemSqrtRatingSum, "itemId").join(itemSqrtRatingSumCopy, itemSqrtRatingSumCopy("itemIdCopy") === itemSameUserRatingProductSum("itemId1")) //相似性计算完成 val itemSimilar = baseData.selectExpr("itemId", "itemId1", "rating_sum_product/(sqrtRating*sqrtRatingCopy) as itemSimilar") // 相似性计topk的物品 val itemSimilar_new = itemSimilar.sort(desc("itemId"), desc("itemSimilar")).filter("itemSimilar > 0" ) itemSimilar.selectExpr("itemId", "itemId1","itemSimilar"). withColumn("rank", row_number().over(Window.partitionBy("itemId"). orderBy($"itemSimilar".desc))).filter(s"rank <= 30").drop("rank") // itemId itemId1 sim // 1 2 0.4 // 1 16 0.6 //存hive 或者 存 hdfs 或者 hbase中都可以。 itemSimilar_new.write.mode("overwrite").saveAsTable("itemSimilar") //以上存hive 或者 存 hdfs 或者 hbase中都可以。 /*** *3.进行recommand */ var itemSimilarCache:DataFrame=sparkSession.sql("select * from itemsimilar") ; // 此处对每个用户进行统计，其最喜欢的topk个音乐，当然如果有时间可以基于时间衰减，进行加权。 val userLikeItem = data.withColumn("rank",row_number(). over(Window.partitionBy("userId").orderBy($"rating".desc))). filter(s"rank <= 5").drop("rank") // 基于用户最喜欢的物品找到其相似物品进行推荐 val recommand_list = userLikeItem.join(itemSimilarCache,"itemId"). filter("itemId<>itemId1"). selectExpr("userId","itemId1 as recall_list_channel_001","rating*itemSimilar as recall_weight_channel_001"). withColumn("rank",row_number(). over(Window.partitionBy("userId").orderBy($"recall_weight_channel_001".desc))). filter(s"rank <= 20").drop("rank") /**userItemScore: *+-------+-------+------------------+ |user_id|item_id| score| +-------+-------+------------------+ | 71| 705|1.6914477316307988| | 71| 508|1.6914477316307988| | 71| 20|1.6914477316307988| | 71| 228| 1.353158185304639| | 71| 855|1.6914477316307988| +-------+-------+------------------+ */ } }
