随笔分类 - Spark集群搭建（1、3和5节点）（含CentOS系统和Ubuntu系统）
摘要：不多说，直接上干货！ 问题详情 ubuntu系统里vi编辑器时，按方向箭头输入是乱码的ABCD字母？ 解决办法 是由于预装的vim软件没更新，运行 sudo apt-get install vim 安装最新的即可解决！ 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关
阅读全文
摘要：不多说，直接上干货！ 我这里，采取的是ubuntu 16.04系统，当然大家也可以在CentOS6.5里，这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建（单节点）（Ubuntu系统） 大数
阅读全文
摘要：不多说，直接上干货！ 我这里，采取的是CentOS6.5，当然大家也可以在ubuntu 16.04系统里，这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建（单节点）（Ubuntu系统） 大数
阅读全文
摘要：不多说，直接上干货！ 同时，声明，我这里安装的vsftp，仅仅只为我的大数据着想，关于网上的复杂安装，那是服务和运维那块。我不多牵扯，也不多赘述。 一、CentOS系统里安装vsftp 第一步：使用yum命令安装vsftp 第二步：配置vsftpd文件 第三步：配置 这里我使用的是匿名登录（保存默认
阅读全文
摘要：不多说，直接上干货！ 很多同行，也许都知道，对于我们大数据搭建而言，目前主流，分为Apache 和 Cloudera 和 Ambari。 后两者我不多说，是公司必备和大多数高校科研环境所必须的！ 分别，详情见我如下的博客 Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐） A
阅读全文
摘要：对于这里的打包，总结： (1) 最简单的，也是为了适应公司里，还是要用maven，当然spark那边sbt，maven都可以。但是maven居多。 Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序？（企业级水平） IDEA里如何多种方式打jar包，然后上传到集群 Sp
阅读全文
摘要：问题详情 解决办法 有时候上述这样kill做下来，并不管用，得再来 同时，大家要注意，是否是进程的消失？ 也会是你的slave1 还是 slave2的进程自动消失了。注意 ，这是个很隐蔽的问题。 重新停止集群，再重新启动集群。 如果还是出现这个问题的话，则 MapReduce任务运行到running
阅读全文
摘要：进入我这篇博客的博友们，相信你们具备有一定的spark学习基础和实践了。 先给大家来梳理下。spark的运行模式和常用的standalone、yarn部署。这里不多赘述，自行点击去扩展。 1、Spark运行模式概述 2、Spark standalone模式的安装（spark-1.6.1-bin-ha
阅读全文
摘要：说白了，这个很简单！ 见 -bash : ** : command not found的问题解决（图文详解）
阅读全文
摘要：问题来源 我不小心，配置错了，少了个export和PATH没配对。 source /etc/profile 之前一定要留心，否则出错让你后悔去！ 问题导致现象1 问题导致现象2 解决办法 按e键，进入 再按e键，选择kernel选项 再按e，输入single 输入“singel“ 或者是“1“”，又
阅读全文
摘要：问题状况表现1 这个问题一般是你 的什么配置影响了虚拟机的网卡网关设置！！！。 问题状况表现2 这个问题一般是你 的什么配置影响了虚拟机的网卡网关设置。 解决办法 网上的那些解决方案，我都试过，比如。 http://blog.csdn.net/fengasdfgh/article/details/6
阅读全文
摘要：建立软连接，好处可以处理多个版本的需要，方便环境变量的配置。相当于windows下的快捷方式！ 博主，我这里以jdk为例，对于大数据的其他子项目的搭建，一样的操作。方便！这里我不多赘述。 如何建立jdk1.7版本的软链接？ 如何删除建立好的软链接？ 如何建立jdk1.8版本的软链接？ 成功！ 补充
阅读全文
摘要：为什么要提出这个问题? spark跑YARN模式或Client模式提交任务不成功（application state: ACCEPTED） 然后执行 参考 手工释放linux内存——/proc/sys/vm/drop_cache http://www.linuxidc.com/Linux/2010-
阅读全文
摘要：不多说，直接上干货！ 问题详情 电脑8G，目前搭建3节点的spark集群，采用YARN模式。 master分配2G，slave1分配1G,slave2分配1G。（在安装虚拟机时） export SPARK_WORKER_MERMORY=1g （在spark-env.sh） 其实这个问题解决办法很简单
阅读全文
摘要：摘要 在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-cluster适用于生产环境，而Yarn-Cluster更适用于交互，调试模式，以下是它们的区别 Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone三种
阅读全文
摘要：不多说，直接上干货！ Spark Standalone的几种提交方式 别忘了先启动spark集群！！！ spark-shell用于调试，spark-submit用于生产。 1.spark-shell client 2.spark-submit cluster Spark on YARN的几种提交方式
阅读全文
摘要：前期博客 Spark on YARN模式的安装（spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz）（master、slave1和slave2）（博主推荐） Spark运行模式概述 Spark On YARN模式 这是一种很有前景的部署模式。但限于
阅读全文
摘要：说白了 Spark on YARN模式的安装，它是非常的简单，只需要下载编译好Spark安装包，在一台带有Hadoop YARN客户端的的机器上运行即可。 Spark on YARN简介与运行wordcount（master、slave1和slave2）（博主推荐） Spark on YARN分为两
阅读全文
摘要：前期博客 Spark运行模式概述 Spark standalone简介与运行wordcount（master、slave1和slave2） 开篇要明白 （1）spark-env.sh 是环境变量配置文件 （2）spark-defaults.conf （3）slaves 是从节点机器配置文件 （4）m
阅读全文
摘要：前期博客 Spark standalone模式的安装（spark-1.6.1-bin-hadoop2.6.tgz）（master、slave1和slave2） Spark运行模式概述 1. Standalone模式 即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从
阅读全文
