键值对行动算子

1. countByKey

  • 定义：countByKey（）：scala.collection.Map（K，Long）按照key值计算每一个key出现的总次数
  • 案例：
val rdd:RDD[(String,Int)] = sc.makeRDD(Array(("zs",60),("zs",70),("zs",80),("ls",66),("ls",60),("ls",77)))
val countByKey: collection.Map[String, Long] = rdd.countByKey()
println(countByKey) // Map(zs -> 3, ls -> 3)

2. saveAsSequenceFile

  • 解释：saveAsSequenceFile()：rdd有几个分区在HDFS上保存几个文件
  • 案例：
val rdd:RDD[(String,Int)] = sc.makeRDD(Array(("zs",60),("zs",70),("zs",80),("ls",66),("ls",60),("ls",77)))
rdd.saveAsTextFile("hdfs://node1:9000/a")
rdd.saveAsSequenceFile("hdfs://node1:9000/b")
posted @   jsqup  阅读(19)  评论(0)  编辑  收藏  举报
相关博文：
·  键值对类型转换算子
·  键值对转换算子2
·  第五章_Spark核心编程_Rdd_行动算子_countByKey
·  RDD的执行
·  03_spark_RDD算子
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配，妙~啊~
· .NET Core 中如何实现缓存的预热？
点击右上角即可分享
微信分享提示
SQL AI 助手