摘要：参考： https://github.com/huaweicloudDocs/mrs/blob/master/cn.zh-cn/%E6%95%85%E9%9A%9C%E6%8E%92%E9%99%A4/%E6%89%A7%E8%A1%8Cbalance%E5%B8%B8%E8%A7%81%E9%97
阅读全文
摘要：hadoop balancer集群平衡介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见
阅读全文
摘要：当我们想让一个定时的crontab任务运行运行一段时间后，自动终止？ 有两种方案： 一、启动一个进程任务，然后在启动一个杀死进程任务 二、使用linux中的timeout命令 示例：执行crontab -e 进入定时任务，添加如下命令 30 9 * * * timeout -s SIGKILL 12
阅读全文
摘要：shell中可能经常能看到：>/dev/null 2>&1 命令的结果可以通过%>的形式来定义输出 分解这个组合：“>/dev/null 2>&1” 为五部分。 1：> 代表重定向到哪里，例如：echo "123" > /home/123.txt 2：/dev/null 代表空设备文件 （可以理解为
阅读全文
摘要：部署Hive On Spark时spark读取Hive元数据报错： Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spar
阅读全文
摘要：关于hadoop中的DataNode和namenode之间的机制与联系： 写的清晰易懂，可以参考如下链接 https://segmentfault.com/a/1190000038718226
阅读全文
