摘要：spark支持的常见文件格式如下: 文本,json,CSV,SequenceFiles,Protocol buffers,对象文件 1.文本 只需要使用文件路径作为参数调用SparkContext 中的textFile() 函数，就可以读取一个文本文件； scala> val lines=sc.te
阅读全文
posted @ 2017-10-27 15:11
10 2017 档案
摘要：combineByKey( createCombiner,mergeValue,mergeCombiners,partitioner) combineByKey() 是最为常用的基于键进行聚合的函数。大多数基于键聚合的函数都是用它实现的,如 groupByKey,reduceByKey等等。和agg
阅读全文
posted @ 2017-10-18 16:05
