05 2020 档案
摘要:ubuntu中shell脚本无法使用source的原因及解决方法 现象: shell脚本中source aaa.sh时提示 source: not found 原因: ls -l `which sh` 提示/bin/sh -> dash 这说明是用dash来进行解析的。 改回方法: 命令行执行:su
阅读全文
摘要:生产集群上,有一台datanode节点磁盘数量飙升,其中五块盘容量已经使用达到100%了,其他磁盘也基本达到90%以上。运行balancer不生效,数据还是疯长,看balancer日志,貌似balancer没有进行大量的块移动。 问题现象: 2020-05-25 22:13:47,459 INFO
阅读全文
摘要:利用hadoop自带的测试程序测试集群性能 使用TestDFSIO、mrbench、nnbench、Terasort 、sort 几个使用较广的基准测试程序 测试程序在: ${HADOOP_HOME}/share/hadoop/mapreduce/ 一、查看工具 $ hadoop jar hadoo
阅读全文