摘要: 课程主要实用内容:1.spark实验环境的搭建2.4个lab的内容3.常用函数4.变量共享1.spark实验环境的搭建(windows)a. 下载,安装visualbox 管理员身份运行;课程要求最新版4.3.28,如果c中遇到虚拟机打不开的,可以用4.2.12,不影响b. 下载,安装vagrant... 阅读全文
posted @ 2015-07-13 11:57 porco 阅读(429) 评论(0) 推荐(0) 编辑
摘要: 该函数官方的api,说的不是很明白:aggregate(zeroValue, seqOp, combOp)Aggregate the elements of each partition, and then the results for all the partitions, using a given combine functions and a neutral “zero value.”T... 阅读全文
posted @ 2015-07-13 11:30 porco 阅读(825) 评论(0) 推荐(0) 编辑