随笔分类 - Hadoop集群搭建（1、3和5节点）（包含Apache Hadoop和CDH版本）
摘要：不多说，直接上干货！ 全网最详细的启动zkfc进程时，出现INFO zookeeper.ClientCnxn: Opening socket connection to server***/192.168.80.151:2181. Will not attempt to authenticate u
阅读全文
摘要：不多说，直接上干货！ 1、 HA集群的主节点之间的双standby的解决办法： 全网最详细的Hadoop HA集群启动后，两个namenode都是standby的解决办法（图文详解） 2、 HA集群的主节点之间的双active的解决办法： 全网最详细的Hadoop HA集群启动后，两个namenod
阅读全文
摘要：不多说，直接上干货！ 解决办法： 注意：之前，先得启动好，每台机器的zookeeper进程。 有时候，还不一定，管用。 最好，是先如下执行才能解决。 [zk: localhost:2181(CONNECTED) 0] [zk: localhost:2181(CONNECTED) 0] ls / [k
阅读全文
摘要：不多说，直接上干货！ java.io.IOException: Incompatible clusterIDs in /opt/modules/hadoop-2.6.0/data/tmp/dfs/data: namenode clusterID = CID-10c4a581-792e-48a2-93
阅读全文
摘要：不多说，直接上干货！ 首先， 那么，你也许，第一感觉，是想到的是 全网最详细的Hadoop HA集群启动后，两个namenode都是standby的解决办法（图文详解） 这里，nn1，不多赘述了。很简单，大家自行去看。 总的是nn，我的bigdata-pro01.kfk.com是nn1，我的bigd
阅读全文
摘要：不多说，直接上干货！ 导读 win下安装hadoop 大家，别小看win下的安装大数据组件和使用 玩过dubbo和disconf的朋友们，都知道，在win下安装zookeeper是经常的事 Disconf 学习系列之全网最详细的最新稳定Disconf 搭建部署（基于CentOS 6.X / 7.X）
阅读全文
摘要：不多说，直接上干货！ 问题详情 问题排查 解决办法 成功！
阅读全文
摘要：不多说，直接上干货！ 问题详情 ubuntu系统里vi编辑器时，按方向箭头输入是乱码的ABCD字母？ 解决办法 是由于预装的vim软件没更新，运行 sudo apt-get install vim 安装最新的即可解决！ 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关
阅读全文
摘要：不多说，直接上干货！ 我这里，采取的是ubuntu 16.04系统，当然大家也可以在CentOS6.5里，这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建（单节点）（Ubuntu系统） 大数
阅读全文
摘要：不多说，直接上干货！ 我这里，采取的是CentOS6.5，当然大家也可以在ubuntu 16.04系统里，这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建（单节点）（Ubuntu系统） 大数
阅读全文
摘要：不多说，直接上干货！ 同时，声明，我这里安装的vsftp，仅仅只为我的大数据着想，关于网上的复杂安装，那是服务和运维那块。我不多牵扯，也不多赘述。 一、CentOS系统里安装vsftp 第一步：使用yum命令安装vsftp 第二步：配置vsftpd文件 第三步：配置 这里我使用的是匿名登录（保存默认
阅读全文
摘要：不多说，直接上干货！ 很多同行，也许都知道，对于我们大数据搭建而言，目前主流，分为Apache 和 Cloudera 和 Ambari。 后两者我不多说，是公司必备和大多数高校科研环境所必须的！ 分别，详情见我如下的博客 Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐） A
阅读全文
摘要：对于这里的打包，总结： (1) 最简单的，也是为了适应公司里，还是要用maven，当然spark那边sbt，maven都可以。但是maven居多。 Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序？（企业级水平） IDEA里如何多种方式打jar包，然后上传到集群 Sp
阅读全文
摘要：问题详情 解决办法 有时候上述这样kill做下来，并不管用，得再来 同时，大家要注意，是否是进程的消失？ 也会是你的slave1 还是 slave2的进程自动消失了。注意 ，这是个很隐蔽的问题。 重新停止集群，再重新启动集群。 如果还是出现这个问题的话，则 MapReduce任务运行到running
阅读全文
摘要：说白了，这个很简单！ 见 -bash : ** : command not found的问题解决（图文详解）
阅读全文
摘要：问题来源 我不小心，配置错了，少了个export和PATH没配对。 source /etc/profile 之前一定要留心，否则出错让你后悔去！ 问题导致现象1 问题导致现象2 解决办法 按e键，进入 再按e键，选择kernel选项 再按e，输入single 输入“singel“ 或者是“1“”，又
阅读全文
摘要：问题状况表现1 这个问题一般是你 的什么配置影响了虚拟机的网卡网关设置！！！。 问题状况表现2 这个问题一般是你 的什么配置影响了虚拟机的网卡网关设置。 解决办法 网上的那些解决方案，我都试过，比如。 http://blog.csdn.net/fengasdfgh/article/details/6
阅读全文
摘要：建立软连接，好处可以处理多个版本的需要，方便环境变量的配置。相当于windows下的快捷方式！ 博主，我这里以jdk为例，对于大数据的其他子项目的搭建，一样的操作。方便！这里我不多赘述。 如何建立jdk1.7版本的软链接？ 如何删除建立好的软链接？ 如何建立jdk1.8版本的软链接？ 成功！ 补充
阅读全文
摘要：遇到这个其实不难解决！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 无论是hadoop、sp
阅读全文