2020年5月22日
hadoop常用操作指南
摘要： 阅读全文
posted @ 2020-05-22 20:27 zwtzz 阅读(176) 评论(0) 推荐(0) 编辑
基于pyspark的mapreduce实现
摘要： 假设有数据量T级名为data的RDD，需要做一些列动作，一般需要使用map-reduce，其中map阶段可以使用def函数或者lambda形式，返回新的RDD，reduce可以起到累加作用，例： 1 from pyspark import SparkConf 2 conf = SparkConf() 阅读全文
posted @ 2020-05-22 14:49 zwtzz 阅读(1489) 评论(0) 推荐(0) 编辑