随笔分类 -  hadoop

摘要:部署完hadoop服务组件之后,需要进行服务自动启动配置,在服务异常挂掉之后可自动启动避免人为干预。 阅读全文
posted @ 2024-02-29 12:51 whiteY 阅读(34) 评论(0) 推荐(0) 编辑
摘要:1.第一步 2.第二部输入namenodeservice-id 3.第三部添加服务 4.第四步 5.第五步在对应机器节点输入以下命令 sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter' sudo su hdfs -l -c 'hdfs dfsadmi 阅读全文
posted @ 2024-02-29 12:48 whiteY 阅读(31) 评论(0) 推荐(0) 编辑
摘要:1.调整HDFS副本数 ##该命令只会设置当前已有的文件副本数,不会改默认副本数参数 hadoop fs -setrep -R -w 5 /corelogs 2.查看HDFS当前文件副本数 hadoop fs -ls /corelogs ##显示的第二个参数即为当前副本数 阅读全文
posted @ 2023-09-20 15:52 whiteY 阅读(560) 评论(0) 推荐(0) 编辑
摘要:###【Hadoop-HDFS压测】针对HDFS进行读写性能测试 1)测试工具 2)写入数据测试 3)读取数据测试 4)清除数据 ####1)测试工具 Hadoop自身集成的工具包:hadoop-mapreduce-client-jobclient-3.1.1.jar 注意: 1、如果是Apache 阅读全文
posted @ 2023-04-27 14:52 whiteY 阅读(474) 评论(0) 推荐(0) 编辑
摘要:###问题背景: 因为主机名配置成主机别名regionserver状态异常,所以需要替换ambari已创建的主机hostname名称为主机名。 别名避免带“.” ambari源码服务会找带“.”的主机名去分发服务通信,别名加“.”它会优先使用别名 导致hbase regionserver状态异常显示 阅读全文
posted @ 2023-04-14 10:09 whiteY 阅读(341) 评论(0) 推荐(0) 编辑
摘要:###ambari上边的服务显示心跳丢失Heartbeat Lost,图标变黄 自己用虚拟机搭建的三台hadoop集群,重新启动后所有服务显示心跳丢失Heartbeat Lost ####解决方法: 重新启动 ambari-agent ambari-agent restart 阅读全文
posted @ 2023-03-07 14:35 whiteY 阅读(483) 评论(0) 推荐(0) 编辑
摘要:部署文档: https://blog.csdn.net/z3225167/article/details/92803720 1.###confirm hosts时出现注册失败的解决方法: https://blog.csdn.net/qq_41805514/article/details/888714 阅读全文
posted @ 2022-10-11 17:29 whiteY 阅读(84) 评论(0) 推荐(0) 编辑
摘要:###查看节点hdfs文件负载 查看各节点hdfs文件使用情况:hdfs dfsadmin -report hdfs dfsadmin -report > balance cat balance | grep "DFS Used%" cat balance | grep "Name" ###负载均衡 阅读全文
posted @ 2021-05-13 15:20 whiteY 阅读(194) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示