badou30_day04_课堂笔记
摘要：1.利用mr做抽样，比例1%，--在随机初始化聚类中心。 2.mr重点再与如何合理设计key，做分发。如何把计算逻辑分开，让他们单独并行处理。计算结果互不影响。 3.redis：分布式内存库。远程词典，key-value。查询时间复杂度：O(1),存储一些要预推荐的key-value 4.整个推荐系
阅读全文
posted @ 2023-06-06 16:46
文章分类 - 八斗30_大数据推荐算法
八斗30_day02_作业
摘要：作业1：理解前10个案例代码逻辑 01_WordCount: 1. Hadoop MapReduce 程序中的Driver部分，即将所有组件（如 Mapper、Reducer、Combiner等）整合起来的主要逻辑部分。 2.MapReduce 程序的 Mapper 会将输入数据中的每一行转换成一个
阅读全文
posted @ 2023-05-28 13:57
badou30_day02_课堂笔记
摘要：1.从海量数据内容挖掘价值，来提升用户点击率、购买率、留存、观看时间、完播率。 2.数据+(算法+策略) 3.一个进程来做的mapreduce，默认输入一个block块(128mb),map方法一次只处理一条数据（input split） 》环形缓冲区，达到80mb，会溢写（flush）在磁盘上，会
阅读全文
posted @ 2023-05-20 22:46
badou30_day01_课堂笔记
摘要：1.推荐系统是业务为主，不存在一个通用的模型，可以用在一切场景里面。 2.好的推荐：业务+数据+策略+算法。 3.40%都是在做数据。 4.数据+算法，产生有价值的东西。 5.数据思维很重要。 6.推荐系统的核心就是挖掘用户的兴趣，从而给用户在合适的环境中，推荐合适的内容。
阅读全文
posted @ 2023-05-20 14:41
八斗30_day01_作业
摘要：1.step1:建立一个目录： hadoop fs -mkdir -p /badou30/day01 2.step2:上传数据到hdfs： hadoop fs -put acticle.txt /badou30/day01/acticle.txt 3.step3:设置root用户执行相应操作： Sy
阅读全文
posted @ 2023-05-20 14:13
