2022年3月17日
RDD编程
摘要： 接下来我们看下常见RDD的转换算子和行动算子。 1、基本RDD的操作 首先来讲讲那些转化操作和行动操作受任意数据类型的RDD支持。 1.1、针对每个元素的转换操作 你很可能会用到的两个最常用的转化操作是map()和filter()。转化操作map()接收一个函数，把这个函数用于RDD中的每个元素，将 阅读全文
posted @ 2022-03-17 21:28 晓枫的春天 阅读(227) 评论(0) 推荐(0) 编辑
RDD 编程一些细节
摘要： Spark 中的 RDD 其实是一个分布式对象集合，每个 RDD 都被分为多个分区，这些分区运行在集群的不同的节点上。RDD 支持转换操作和行动操作。转化操作会由一个 RDD 生成一个新的 RDD ,例如 scala> val lines = sc.textFile("README.md") 这里通 阅读全文
posted @ 2022-03-17 06:11 晓枫的春天 阅读(57) 评论(0) 推荐(0) 编辑