摘要: 一,Spark中的重要角色 Master:运行集群的管理中心(类似Resource Manager,为指点江山的大哥) 主要负责:1)分配application程序到worker 2)维护worker节点,应用程序的状态 Worker:负责执行具体的任务(干活儿的小弟) Driver(驱动器):Sp 阅读全文
posted @ 2019-01-18 19:07 豪哥搞开发 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 一,什么是spark 定义:Spark一种基于内存的快速,通用,可扩展的大数据分析引擎. 官网地址:http://spark.apache.org/ 历史:2009年诞生于加州伯克利分校AMPLab,项目采用scala编写 2010年开源 2013年6月成为Apache孵化项目 2014年2月成为A 阅读全文
posted @ 2019-01-18 15:07 豪哥搞开发 阅读(217) 评论(0) 推荐(0) 编辑