随笔分类 - spark系列

复习spark---创建sparksql及跑通读取json

摘要：导入依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>2.4.6</version> </dependency> <d 阅读全文

posted @ 2022-04-14 14:29 jsqup 阅读(88) 评论(0) 推荐(0) 编辑

复习spark---创建spark项目及跑通WordCount

摘要：以后可以从这里开始复习spark 阅读全文

posted @ 2022-04-14 14:07 jsqup 阅读(27) 评论(0) 推荐(0) 编辑

map与flatmap的区别

摘要：总结 map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作，映射为另外一个rdd。 flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 1. map会对每一条输入进行指定的操作，然后为每一条输入返回一个对象。 2. fla 阅读全文

posted @ 2022-04-08 22:12 jsqup 阅读(1810) 评论(0) 推荐(0) 编辑