摘要: 紧接上一次。 这次是对于spark安装的总结。 首先便是下载spark。 从官网上可以找到用户提供Hadoop环境的安装包,另外值得一提的是用户也可以无需自己安装hadoop而是选择原装包括了hadoop的安装包。 放入虚拟机之后解压缩,修改权限,之后就可以开始配置了。 配置文件需要配置slaves 阅读全文
posted @ 2020-01-18 12:55 limitCM 阅读(128) 评论(0) 推荐(0) 编辑
摘要: 写博客是时隔两天,但学习并没有停止。 这一篇博客还是写一下关于Spark基础知识的,上次只是总体名词的理解。 Spark的核心是建立在统一的抽象RDD之上,使得Spark的各个组件可以无缝进行集成,在同一个应用程序中完成大数据计算任务 于是RDD——由DAG图帮助形成的分布式内存的数据集帮助Spar 阅读全文
posted @ 2020-01-18 12:43 limitCM 阅读(123) 评论(0) 推荐(0) 编辑