梅花GG

2018年9月30日

摘要：官方参考配置地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 一、在Hadoop-senior.zuoyan.com 的主机上首先阅读全文

posted @ 2018-09-30 22:20 梅花GG 阅读(1463) 评论(0) 推荐(0) 编辑

【Hadoop 分布式部署九：分布式协作框架Zookeeper架构分布式安装部署】

摘要： 1.首先将运行在本地上的 zookeeper 给停止掉 2.到/opt/softwares 目录下将 zookeeper解压到 /opt/app 目录下命令: tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app/ 3.修改配置文件将文件 zoo_sampl 阅读全文

posted @ 2018-09-30 13:09 梅花GG 阅读(156) 评论(0) 推荐(0) 编辑

【Hadoop 分布式部署八：分布式协作框架Zookeeper架构功能讲解及本地模式安装部署和命令使用】

摘要： What is Zookeeper 是一个开源的分布式的，为分布式应用提供协作服务的Apache项目提供一个简单的原语集合，以便与分布式应用可以在他之上构建更高层次的同步服务设计非常简单易于编程，他使用的是类似于文件系统那样的树形数据结构。目的就是将分布式服务不再需要有协作冲突而另外实现协作服阅读全文

posted @ 2018-09-30 11:34 梅花GG 阅读(155) 评论(0) 推荐(0) 编辑

【Hadoop 分布式部署七：使用ntp配置内网中集群机器时间同步】

摘要：集群的时间要同步，如果时间不同步，会出现很多问题。找一台机器做时间服务器所有的机器与这台机器的时间进行定时的同步比如，每日十分钟同步一次我们这里使用 hadoop-senior.zuoyan.com 这台主机作为时间服务器首先检查一下主机是否安装ntp服务使用命令： rpm -qa | 阅读全文

posted @ 2018-09-30 10:42 梅花GG 阅读(220) 评论(0) 推荐(0) 编辑

【Hadoop 分布式部署六：环境问题解决和集群基准测试】

摘要：环境问题：出现Temporary failure in name resolutionp-senior-zuoyan.com 的原因有很多，主要就是主机没有解析到，那就在hadoop的slaves 配置文件中重新写一下主机名如果还是没有成功启动，就将slaves 文件删除，然后重新创建，可能阅读全文

posted @ 2018-09-30 09:54 梅花GG 阅读(126) 评论(0) 推荐(0) 编辑

2018年9月29日

【Hadoop 分布式部署五：分布式部署之分发、基本测试及监控】

摘要： 1.对 hadoop 进行格式化到 /opt/app/hadoop-2.5.0 目录下执行命令： bin/hdfs namenode -format 执行的效果图如下 ( 下图成功格式化不要没事格式化 ) 2.启动dfs 执行命令(在 /opt/app/hadoop-2.5.0/目录下): 阅读全文

posted @ 2018-09-29 21:41 梅花GG 阅读(178) 评论(0) 推荐(0) 编辑

【Hadoop 分布式部署四：配置Hadoop 2.x 中主节点（NN和RM）到从节点的SSH无密码登录】

摘要： ******************* 一定要使这三台机器的用户名相同，安装目录相同 ************* SSH 无密钥登录的简单介绍（之前再搭建本地伪分布式的时候，就生成了，现在这三台机器的公钥私钥都是一样的，所以下面这个不用配置）单机操作：生成密钥：命令 ssh-keygen -t 阅读全文

posted @ 2018-09-29 20:00 梅花GG 阅读(323) 评论(0) 推荐(0) 编辑

【Hadoop 分布式部署三：基于Hadoop 2.x 伪分布式部署进行修改配置文件】

摘要： 1.规划好哪些服务运行在那个服务器上需要配置的配置文件 2. 修改配置文件，设置服务运行机器节点首先在 hadoop-senior 的这台主机上进行解压 hadoop2.5 按照伪分布式的配置文件来进行配置使用命令：tar -zxvf hadoop-2.5.0.tar.gz -C /op 阅读全文

posted @ 2018-09-29 16:36 梅花GG 阅读(376) 评论(0) 推荐(0) 编辑

【Hadoop 分布式部署二：分布式环境预备工作（主机名 IP地址等设置）】

摘要： 1.首先使用工具连接上这三台虚拟主机 2.配置主机名切换到 root 用户第一种方式可以使用命令 hostname [要更改的主机名] 但是这种更改主机名的方式是一次性的，下次机器重启，这个主机名就会恢复到原来第二种方式： vim /etc/sysconfig/network (这个就是阅读全文

posted @ 2018-09-29 15:10 梅花GG 阅读(790) 评论(0) 推荐(0) 编辑

【Hadoop 分布式部署一：分布式部署准备虚拟机】

摘要：一、将IP配置为静态按照下面的操作将IP配置为静态IP 这个静态的IP地址是你自己设置的，只要符合虚拟机的IP段就可以。最后点击 Apply 需要root密码将网络断开（在网络图标左键 Disconnect ）重新连接检查IP是否改变了如果IP地址已经改变了，那就说明网络配置成功更阅读全文

posted @ 2018-09-29 14:25 梅花GG 阅读(257) 评论(0) 推荐(0) 编辑

公告