2022年7月21日
退役数据节点
摘要： 在hdfs的namenode所在结点的Hadoop的安装目录的etc/hadoop目录下创建一个dfs.hosts.exclude文件 填写dfs需要的退役的节点主机名 [root@node1 hadoop]# pwd /opt/app/hadoop-2.8.5/etc/hadoop [root@n 阅读全文
posted @ 2022-07-21 18:17 jsqup 阅读(30) 评论(0) 推荐(0) 编辑
当集群中的空间不够时，增加结点动态扩容（服役新节点） (在不关机的情况下，增加一台datanode)
摘要： 克隆 克隆当前的虚拟机 修改3台虚拟机的ip地址和主机名 vim /etc/sysconfig/network-scripts/ifcfg-ens33 将IPADDR修改为192.168.200.225 重新启动网络服务使其生效 systemctl restart network 配置主机名的映射 阅读全文
posted @ 2022-07-21 17:57 jsqup 阅读(95) 评论(0) 推荐(0) 编辑
NameNode与SecondaryName工作机制
摘要： 作用 |组件|作用| | | | |NameNode|1.用于去存储和管理整个HDFS集群的元数据（在namenode中维护了两个文件edits和fsimage） 2.用于管理整个集群的状态及维护数据的一致性| |SecondaryNode|帮助我们NameNode完成相关的元数据的操作| |edi 阅读全文
posted @ 2022-07-21 16:26 jsqup 阅读(31) 评论(0) 推荐(0) 编辑
借助maven项目开发HDFS
摘要： pom.xml文件 <properties> <hadoop.version>2.8.5</hadoop.version> </properties> <dependencies> <!-- 引入Hadoop的编程依赖 hadoop-common hadoop-client 版本是统一的 都是2.8 阅读全文
posted @ 2022-07-21 12:33 jsqup 阅读(79) 评论(0) 推荐(0) 编辑
maven
摘要： 作用 统一管理引入项目所需要的第三方依赖 引入的jar包没有依赖别的包 引入的jar包的版本和依赖的其他的jar包的版本是否适配 帮助我们管理项目的生命周期 1.清除以前的编译的class文件 2.重新编译项目代码 3.测试项目能不能通过 4.将项目打成一个jar包 5.部署运行 maven下载 m 阅读全文
posted @ 2022-07-21 11:46 jsqup 阅读(12) 评论(0) 推荐(0) 编辑
hdfs-javaAPI操作
摘要： 创建一个普通的java项目 导入jar包 附：jar包如何来的 代码阶段 上传下载文件 package com.sxuek; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; im 阅读全文
posted @ 2022-07-21 09:49 jsqup 阅读(91) 评论(0) 推荐(0) 编辑
hdfs连接、上传文件、下载文件的操作
摘要： package com.sxuek; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java. 阅读全文
posted @ 2022-07-21 07:37 jsqup 阅读(1436) 评论(0) 推荐(0) 编辑