随笔分类 -  Spark

Hadoop、Spark 集群环境搭建问题汇总
摘要：Hadoop 问题1： Hadoop Slave节点 NodeManager 无法启动 解决方法： yarn-site.xml reducer取数据的方式是mapreduce_shuffle 问题2： 启动hadoop，报错Error JAVA_HOME is not set and could n 阅读全文
posted @ 2018-06-07 11:22 那一剑的風情 阅读(615) 评论(0) 推荐(0) 编辑
Hadoop、Spark 集群环境搭建
摘要：1.基础环境搭建 1.1运行环境说明 1.1.1硬软件环境 主机操作系统：Windows 64位，四核8线程，主频3.2G，8G内存 虚拟软件：VMware Workstation Pro 虚拟机操作系统：CentOS7 64位，单核，2G内存 1.1.2集群网络环境 集群包含三个节点，节点之间可以 阅读全文
posted @ 2018-06-07 10:45 那一剑的風情 阅读(559) 评论(0) 推荐(0) 编辑
Spark学习笔记_001
摘要： 阅读全文
posted @ 2018-05-14 23:31 那一剑的風情 阅读(143) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示