摘要: 1、SparkStreaming概述 1、SparkStreaming是什么? SparkStreaming用于处理流式数据 2、SparkStreaming应用场景: 实时领域 3、DStream: DStream是SparkStreaming的数据抽象 DStream流动的是RDD,每个RDD代 阅读全文
posted @ 2021-11-08 23:02 KaneQi 阅读(77) 评论(0) 推荐(0) 编辑
摘要: 1、SparkSql概述 1、什么是SparkSql? SparkSql用于处理结构化数据,底层还是RDD 2、SparkSql的两个数据抽象: DataFrame、DataSet 1、什么是DataFrame DataFrame可以当做一个二维表格,有schema信息<有列名、列类型> DataF 阅读全文
posted @ 2021-11-08 22:53 KaneQi 阅读(114) 评论(0) 推荐(0) 编辑