2018年3月4日
spark2.1：rdd.combineByKeyWithClassTag的用法示例
摘要： 测试spark版本： 备注：spark1.5中没有提供rdd.combineByKeyWithClassTag算子，但提供的有rdd.combineByKey算子（spark2.1中依然保留）。 使用示例： 阅读全文
posted @ 2018-03-04 22:27 cctext 阅读(472) 评论(0) 推荐(0) 编辑
Spark：如何替换sc.parallelize(List(item1,item2)).collect().foreach(row=>{})为并行？
摘要： 代码场景： 1）设定的几种数据场景，遍历所有场景：依次统计满足每种场景条件下的数据，并把统计结果存入hive； 2）已有代码如下： 备注： 在generateSampleBySenceType()函数内部包含有: 如果把代码修改： 则会提示：generateSampleBySenceType()内部 阅读全文
posted @ 2018-03-04 16:56 cctext 阅读(2307) 评论(0) 推荐(0) 编辑