摘要:
在hdfs的namenode所在结点的Hadoop的安装目录的etc/hadoop目录下创建一个dfs.hosts.exclude文件 填写dfs需要的退役的节点主机名 [root@node1 hadoop]# pwd /opt/app/hadoop-2.8.5/etc/hadoop [root@n 阅读全文
摘要:
克隆 克隆当前的虚拟机 修改3台虚拟机的ip地址和主机名 vim /etc/sysconfig/network-scripts/ifcfg-ens33 将IPADDR修改为192.168.200.225 重新启动网络服务使其生效 systemctl restart network 配置主机名的映射 阅读全文
摘要:
作用 |组件|作用| | | | |NameNode|1.用于去存储和管理整个HDFS集群的元数据(在namenode中维护了两个文件edits和fsimage) 2.用于管理整个集群的状态及维护数据的一致性| |SecondaryNode|帮助我们NameNode完成相关的元数据的操作| |edi 阅读全文
摘要:
pom.xml文件 <properties> <hadoop.version>2.8.5</hadoop.version> </properties> <dependencies> <!-- 引入Hadoop的编程依赖 hadoop-common hadoop-client 版本是统一的 都是2.8 阅读全文
摘要:
作用 统一管理引入项目所需要的第三方依赖 引入的jar包没有依赖别的包 引入的jar包的版本和依赖的其他的jar包的版本是否适配 帮助我们管理项目的生命周期 1.清除以前的编译的class文件 2.重新编译项目代码 3.测试项目能不能通过 4.将项目打成一个jar包 5.部署运行 maven下载 m 阅读全文
摘要:
创建一个普通的java项目 导入jar包 附:jar包如何来的 代码阶段 上传下载文件 package com.sxuek; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; im 阅读全文
摘要:
package com.sxuek; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java. 阅读全文