2020年11月5日
pyspark计算最大值、最小值、平均值
摘要： 需求：使用pyspark计算相同key的最大值、最小值、平均值 说明： 最大值和最小值好计算，直接reduceByKey后使用python内置的max、min方法 平均值计算提供两种计算方法，直接先上代码和运行结果，后面有代码记录 def main(): sc = SparkContext(conf 阅读全文
posted @ 2020-11-05 20:17 skaarl 阅读(3759) 评论(0) 推荐(0) 编辑