2022年1月6日

6-spark_streaming

摘要： 学习目标 说出Spark Streaming的特点 说出DStreaming的常见操作api 能够应用Spark Streaming实现实时数据处理 能够应用Spark Streaming的状态操作解决实际问题 独立实现foreachRDD向mysql数据库的数据写入 独立实现Spark Strea 阅读全文

posted @ 2022-01-06 11:59 paike123 阅读(47) 评论(0) 推荐(0) 编辑

5-spark_sql

摘要： 学习目标 知道spark_sql 的相关概念 知道DataFrame 与RDD的联系 能实现spark_sql对json的处理 实现spark_sql对数据清洗 一：spark_sql的概述 spark_sql 概念 他是处理结构化数据的一个模块,它提供的最核心的编程抽象就是DataFrame sp 阅读全文

posted @ 2022-01-06 11:12 paike123 阅读(57) 评论(0) 推荐(0) 编辑

导航