摘要：
本文通过4台Linux虚拟机，详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是3.2.0，JDK版本是1.8。 一、准备环境 1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。 有关【创建Lin 阅读全文
posted @ 2019-03-07 08:32
shireenlee
阅读(6394)
评论(1)
推荐(1)
摘要：
本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是2.7.7，JDK版本是1.8。 一、准备环境 1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。 有关【创建Linux虚拟机及配置网络】，请 阅读全文
posted @ 2019-02-13 17:21
shireenlee
阅读(989)
评论(0)
推荐(0)
摘要：
1. 使用start-hbase.sh启动HBase时报Class path contains multiple SLF4J bindings.错误，原因是jar包冲突导致的。所以，对于和Hadoop的jar包冲突的，可以将其他jar包删除，如果你不确定是否删除正确，可以将其他的jar包复制备份或者 阅读全文
posted @ 2019-04-19 09:05
shireenlee
阅读(1241)
评论(0)
推荐(0)
摘要：
HBase是列式数据库，既可以单机也可以集群的方式搭建，以集群的方式搭建一般建立在HDFS之上。 分布式HBase启动说明：首先启动hadoop，然后问题就来了：zookeeper和hbase的启动顺序是什么？ 1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper 阅读全文
posted @ 2019-04-19 09:04
shireenlee
阅读(3532)
评论(1)
推荐(1)
摘要：
在本文中，Zookeeper节点个数（奇数）为3个。Zookeeper默认对外提供服务的端口号2181。Zookeeper集群内部3个节点之间通信默认使用2888:3888。 1. Hadoop集群环境 2. 下载Zookeeper安装包 下载地址：http://mirrors.shu.edu.cn 阅读全文
posted @ 2019-04-18 16:37
shireenlee
阅读(437)
评论(0)
推荐(0)
摘要：
Zookeeper官网地址：http://zookeeper.apache.org/ Zookeeper下载链接：http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 阅读全文
posted @ 2019-04-18 11:14
shireenlee
阅读(2053)
评论(0)
推荐(0)
摘要：
一、问题出现的原因 启动Hadoop分布式环境时出现主节点的namenode、secondarynamenode启动成功，但是Worker节点datenode启动不成功。 hadoop@master$ ${HADOOP_HOME}/sbin/start.dfs.sh 查看Worker的输出日志，显示 阅读全文
posted @ 2019-04-16 14:54
shireenlee
阅读(1177)
评论(0)
推荐(0)
摘要：
运行hadoop程序时，有时候会报以下错误，说明Hadoop的NameNode处在安全模式下。 原因分析： 在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个Da 阅读全文
posted @ 2019-04-15 14:20
shireenlee
阅读(516)
评论(0)
推荐(0)
摘要：
本文详细介绍Linux系统下配置Java环境的方法，使用JDK1.8版本。 1. 从Oracle官网上下载Java8版本。 下载链接：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htm 阅读全文
posted @ 2019-02-13 11:41
shireenlee
阅读(2082)
评论(0)
推荐(0)
摘要：
Hadoop集群包含1个主节点和3个从节点，需要实现各节点之间的免密码登录，下面介绍具体的实现方法。 一、Hadoop集群环境 二、免密登录原理 每台主机authorized_keys文件里面包含的主机（ssh密钥），该主机都能无密码登录，所以只要每台主机的authorized_keys文件里面都放 阅读全文
posted @ 2019-02-13 10:34
shireenlee
阅读(21865)
评论(0)
推荐(2)
浙公网安备 33010602011771号