随笔分类 - hadoop
摘要:部署完hadoop服务组件之后,需要进行服务自动启动配置,在服务异常挂掉之后可自动启动避免人为干预。
阅读全文
摘要:1.第一步 2.第二部输入namenodeservice-id 3.第三部添加服务 4.第四步 5.第五步在对应机器节点输入以下命令 sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter' sudo su hdfs -l -c 'hdfs dfsadmi
阅读全文
摘要:1.调整HDFS副本数 ##该命令只会设置当前已有的文件副本数,不会改默认副本数参数 hadoop fs -setrep -R -w 5 /corelogs 2.查看HDFS当前文件副本数 hadoop fs -ls /corelogs ##显示的第二个参数即为当前副本数
阅读全文
摘要:###【Hadoop-HDFS压测】针对HDFS进行读写性能测试 1)测试工具 2)写入数据测试 3)读取数据测试 4)清除数据 ####1)测试工具 Hadoop自身集成的工具包:hadoop-mapreduce-client-jobclient-3.1.1.jar 注意: 1、如果是Apache
阅读全文
摘要:###问题背景: 因为主机名配置成主机别名regionserver状态异常,所以需要替换ambari已创建的主机hostname名称为主机名。 别名避免带“.” ambari源码服务会找带“.”的主机名去分发服务通信,别名加“.”它会优先使用别名 导致hbase regionserver状态异常显示
阅读全文
摘要:###ambari上边的服务显示心跳丢失Heartbeat Lost,图标变黄 自己用虚拟机搭建的三台hadoop集群,重新启动后所有服务显示心跳丢失Heartbeat Lost ####解决方法: 重新启动 ambari-agent ambari-agent restart
阅读全文
摘要:部署文档: https://blog.csdn.net/z3225167/article/details/92803720 1.###confirm hosts时出现注册失败的解决方法: https://blog.csdn.net/qq_41805514/article/details/888714
阅读全文
摘要:###查看节点hdfs文件负载 查看各节点hdfs文件使用情况:hdfs dfsadmin -report hdfs dfsadmin -report > balance cat balance | grep "DFS Used%" cat balance | grep "Name" ###负载均衡
阅读全文