摘要: 1. 下载spark安装包下载地址spark官网:http://spark.apache.org/downloads.html这里我们使用 spark-2.0.2-bin-hadoop2.7版本. 2. 规划安装目录/opt/bigdata 3 .解压安装包tar -zxvf spark-2.0.2 阅读全文
posted @ 2018-12-03 10:15 煮酒一笑观花 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 1.什么是Spark spark是一种快速,通用,可扩展的大数据分析引擎,集成了大数据相关的各种能力。Hadoop的中间结果需要存储在硬盘上,这就产生了较高的延迟。而Spark基于内存计算,解决了这个延迟的速度问题。Spark本身可以直接读写Hadoop上任何格式数据,这使得批处理更加快速。 2.为 阅读全文
posted @ 2018-12-03 09:54 煮酒一笑观花 阅读(124) 评论(0) 推荐(0) 编辑