8-推荐算法1
摘要：一：推荐算法的构建流程 Data(数据) Features(特征) ML Algorithm(机器学习算法) Prediction Output(预测输出) 二：最经典的推荐算法 算法思想：物以类聚，人以群分 基本的协同过滤推荐算法基于以下假设： “跟你喜好相似的人喜欢的东西你也很有可能喜欢” ：基
阅读全文
posted @ 2022-01-12 18:36
01 2022 档案
7-推荐系统简介及推荐系统的架构设计
摘要：一： 推荐系统的简介 推荐系统产生背景 信息过载 & 用户需求不明确 分类⽬录（1990s）：覆盖少量热门⽹站。Hao123 Yahoo 搜索引擎（2000s）：通过搜索词明确需求。Google Baidu 推荐系统（2010s）：不需要⽤户提供明确的需求，通过分析⽤户的历史⾏为给⽤户的兴趣进⾏建模
阅读全文
posted @ 2022-01-07 10:47
6-spark_streaming
摘要：学习目标 说出Spark Streaming的特点 说出DStreaming的常见操作api 能够应用Spark Streaming实现实时数据处理 能够应用Spark Streaming的状态操作解决实际问题 独立实现foreachRDD向mysql数据库的数据写入 独立实现Spark Strea
阅读全文
posted @ 2022-01-06 11:59
5-spark_sql
摘要：学习目标 知道spark_sql 的相关概念 知道DataFrame 与RDD的联系 能实现spark_sql对json的处理 实现spark_sql对数据清洗 一：spark_sql的概述 spark_sql 概念 他是处理结构化数据的一个模块,它提供的最核心的编程抽象就是DataFrame sp
阅读全文
posted @ 2022-01-06 11:12
RuntimeError: generator raised StopIteration
摘要：开始我使用的python3.7 spark2.1 利用sparkStreaming 时出现错误（ RuntimeError: generator raised StopIteration）： 如下： python 代码： import os JAVA_HOME = '/usr/local/java/
阅读全文
posted @ 2022-01-05 18:35
