pyspark aggregate

from pyspark import SparkContext

if __name__ == "__main__":

    sc = SparkContext('local', 'aggregate')    
    nums = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

    sum_cnt = nums.aggregate(
        (0,0), #initial value
        (lambda acc, value: (acc[0] + value, acc[1] + 1)), #combine value with acc
        (lambda acc1, acc2: (acc1[0]+acc2[0],acc1[1]+acc2[1])) #combine accumulators
    )

    print( "mean: ", round(sum_cnt[0]/float(sum_cnt[1]),4))
mean:  5.5
posted @   luoganttcc  阅读(6)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· Vue3状态管理终极指南:Pinia保姆级教程
点击右上角即可分享
微信分享提示