reduceByKey、groupByKey
rdd=sc. parallelize([("one",1),("two",1),("one",1),("one1",1)]) rdd. reduceByKey(lambda x,y:x). count() rdd1=sc. parallelize([("a",{"a":12}),("b",{"a1":45}),("a",{"a2":45})]) def fun(x): k,v=x d=dict() for i in v:d. update(i) return k,d rdd1.groupByKey().map(lambda x:fun(x)).collect()
#[('a', {'a': 12, 'a2': 45}), ('b', {'a1': 45})]
groupBy、keyBy
rdd2=sc. parallelize([("a",{"a":13}),("b",{"a1":45}),("a",{"a2":45})]) def fun1(x): k,v=x d=dict() for i in v:d. update(i[1]) return k,d rdd2.groupBy(lambda x:x[0]).map(lambda x:fun1(x)). collect() #[('a', {'a': 13, 'a2': 45}), ('b', {'a1': 45})] rdd2.keyBy(lambda x:x[0]).collect() #[('a', ('a', {'a': 13})), ('b', ('b', {'a1': 45})), ('a', ('a', {'a2': 45}))]
subtractByKey
1 2 3 | x = sc. parallelize([( "a" , 1 ),( "b" , 4 ),( "b" , 5 ),( "a" , 2 )]) y = sc. parallelize([( "a" , 3 ),( "c" , None )]) x. subtractByKey(y). collect()<br> #[('b', 4), ('b', 5)] |
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步