摘要: 基于Spark的电影推荐系统(推荐系统~7) 22/100 发布文章 liuge36 第四部分 推荐系统 实时推荐 本模块基于第4节得到的模型,开始为用户做实时推荐,推荐用户最有可能喜爱的5部电影。 说明几点 1.数据来源是 testData 测试集的数据。这里面的用户,可能存在于训练集中,也可能是 阅读全文
posted @ 2019-10-21 13:49 liuge36 阅读(1743) 评论(0) 推荐(0) 编辑
摘要: 第四部分 推荐系统 模型训练 本模块基于第3节 数据加工得到的训练集和测试集数据 做模型训练,最后得到一系列的模型,进而做 预测。 训练多个模型,取其中最好,即取RMSE(均方根误差)值最小的模型 说明几点 1.ALS 算法不需要自己实现,Spark MLlib 已经实现好了,可以自己 跟源码学习 阅读全文
posted @ 2019-10-21 13:49 liuge36 阅读(1224) 评论(0) 推荐(0) 编辑
摘要: 第四部分 推荐系统 数据ETL 本模块完成数据清洗,并将清洗后的数据load到Hive数据表里面去 前置准备: spark +hive 启动Hive metastore server [root@hadoop001 conf] nohup hive service metastore & [root 阅读全文
posted @ 2019-10-21 13:48 liuge36 阅读(1331) 评论(0) 推荐(1) 编辑
摘要: 第四部分 推荐系统 项目介绍 行业背景: 快速:Apache Spark以内存计算为核心 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算 完整的生态圈 只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速 “猜你喜欢”为代表的推荐系统,从吃穿住行等 项 阅读全文
posted @ 2019-10-21 13:47 liuge36 阅读(2563) 评论(0) 推荐(0) 编辑