摘要: 原文引自:http://blog.csdn.net/huanbia/article/details/69084895 1、环境准备 idea采用2017.3.1版本。 创建一个文件a.txt 2、构建maven工程 点击File->New->Project… 点击Next,其中GroupId和Art 阅读全文
posted @ 2017-12-21 13:46 jinggangshan 阅读(572) 评论(0) 推荐(0) 编辑
摘要: 原文引自:http://www.cnblogs.com/shishanyuan/p/4639519.html 1、环境说明 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包。因为该目录用于安 阅读全文
posted @ 2017-12-20 16:09 jinggangshan 阅读(925) 评论(0) 推荐(0) 编辑
摘要: 原文引自:http://www.cnblogs.com/shishanyuan/p/4637631.html 1、环境说明 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包。因为该目录用于安 阅读全文
posted @ 2017-12-20 15:59 jinggangshan 阅读(335) 评论(0) 推荐(0) 编辑
摘要: 原文引自:http://www.cnblogs.com/shishanyuan/p/4700615.html 1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架。Spark在 阅读全文
posted @ 2017-12-20 15:26 jinggangshan 阅读(509) 评论(0) 推荐(1) 编辑
摘要: 原文引自:http://www.cnblogs.com/shishanyuan/p/4721326.html 1、 Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序, 阅读全文
posted @ 2017-12-19 09:42 jinggangshan 阅读(2303) 评论(0) 推荐(0) 编辑