摘要:
Spark角色介绍 1、Driver 它会运行客户端的main方法,构建了SparkContext对象,它是所有spark程序的入口 2、Application 它就是一个应用程序,包括了Driver端的代码和当前这个任务在运行的时候需要的资源信息 3、Master 它是整个spark集群的老大,负 阅读全文
摘要:
简介 Spark是一个针对于大规模数据处理的统一分析引擎。其处理速度比MapReduce快很多。其特征有: 1、速度快 2、易用性 3、通用性 4、兼容性 Spark集群的安装部署 1 新建文件夹,分别用来存放压缩包、解压后的文件 2 把安装文件放到服务器上的software文件夹内 然后解压到se 阅读全文