摘要: 子雨大数据之Spark入门教程 基于商品属性的相似商品推荐算法 spark [spɑːk] 详细X 基本翻译 n. 火花;电火花;(内燃机里火花塞的)放电;闪光体;一丝强烈的感情;愉悦;(非正式)军队中对无线电报务员(或电工的)昵称;生龙活虎的小伙子;导火线;活力 n. (Spark) (美)斯帕克 阅读全文
posted @ 2020-05-20 00:23 与君共舞 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 1、电商行业起步到发展阶段,有一定的数据量但是数据量不是特别多,要从0开始构建推荐系统,希望可以在短时间内上线给用户展现不同推荐结果,应从哪些方面着手,有哪些要注意的问题? 2、推荐系统课件地址: http://47.93.208.249:9825/notebooks/0.Teacher/Onlin 阅读全文
posted @ 2020-04-19 22:27 与君共舞 阅读(174) 评论(0) 推荐(0) 编辑
摘要: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib==3.0.0 在mac环境下,运行matplotlib时出现ImportError: Python is not installed as a framework. 阅读全文
posted @ 2019-12-17 12:05 与君共舞 阅读(636) 评论(0) 推荐(0) 编辑
摘要: 一、秒杀核心业务分析 应用:商品抢购、优惠券的领取 技术难点: 短时高并发、负载压力大 读多写少 竞争资源有限,不能多买,不能少买,不能重买 重要点:修改库存 二、关于锁的那些事: 1、悲观锁:在数据处理过程中,将数据处于锁定状态【依靠数据库提供的锁机制】使用场景:写多读少,保证数据安全 2、乐观锁 阅读全文
posted @ 2019-09-17 20:50 与君共舞 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 一、大数据集群: 1、zookeeper集群操作: 启动:bin/zkServer.sh start 【依次在hadoop102、hadoop103、hadoop104节点上启动zookeeper】 关闭:bin/zkServer.sh stop 查看状态:bin/zkServer.sh statu 阅读全文
posted @ 2019-09-17 20:49 与君共舞 阅读(634) 评论(0) 推荐(0) 编辑
摘要: 一、推荐系统的目的 让用户更快更好的获取到自己需要的内容 让内容更快更好的推送到喜欢它的用户手中 让网站(平台)更有效的保留用户资源 二、推荐系统的基本思想 利用用户和物品的特征信息,给用户推荐那些具有用户喜欢的特征的物品。 利用用户喜欢过的物品,给用户推荐与他喜欢过的物品相似的物品。 利用和用户相 阅读全文
posted @ 2019-09-15 15:00 与君共舞 阅读(712) 评论(0) 推荐(0) 编辑
摘要: 一、JVM内存结构 二、类加载(classLoader)机制 java中的ClassLoader详解 java类加载机制面试题 java类加载机制面试题 虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验,解析和初始化,最终形成可以被虚拟机直接使用的java类型。 将class文件加载 阅读全文
posted @ 2019-09-06 13:21 与君共舞 阅读(1485) 评论(0) 推荐(0) 编辑
摘要: 根据推荐物品的元数据发现物品的相关性,再基于用户过去的喜好记录,为用户推荐相似的物品。 一、特征提取:抽取出来的对结果预测有用的信息 对物品的特征提取-打标签(tag) 用户自定义标签(UGC) 隐语义模型(LFG) 专家标签(PGC) 对文本信息的特征提取-关键词 分词、语义处理和情感分析(NLP 阅读全文
posted @ 2019-09-04 14:59 与君共舞 阅读(1699) 评论(0) 推荐(0) 编辑
摘要: 模型的建立相当于从行为数据中提取特征,给用户和物品同时打上“标签” 有显性特征时,我们可以直接匹配做出推荐 没有时,可以根据已有的偏好数据,去发掘出隐藏的特征,这需要用到隐语义模型(LFM) 一、隐语义模型(LFM Latent Factor Mode) 基于样本的用户偏好信息,训练一个推荐模型,然 阅读全文
posted @ 2019-09-03 07:56 与君共舞 阅读(4051) 评论(0) 推荐(0) 编辑
摘要: 一、定义: 监督学习主要包括分类和回归 当输出被限制为有限的一组值(离散数值)时使用分类算法 当输出可以具有范围内的任何树值(连续数值)时使用回归算法 相似度学习是和回归和分类都密切相关的一类监督学习,它的目的是使用相似函数从样本中学习,这个函数可以度量两个对象之间的相似度或关联度 二、监督学习三要 阅读全文
posted @ 2019-09-03 07:28 与君共舞 阅读(701) 评论(0) 推荐(0) 编辑