摘要: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。可见,保证HDFS中的数据平衡是非常重要的。 阅读全文
posted @ 2016-09-12 11:44 conanwang 阅读(529) 评论(0) 推荐(0) 编辑
摘要: 向HDFS上传文件,如果是从某个datanode开始上传文件,会导致上传的数据优先写满当前datanode的磁盘,这对于运行分布式程序是非常不利的。 解决的办法: 1、从其他非datanode节点上传 可以将hadoop的安装目录复制一份到一个不在集群中的节点(直接从非datanode的nameno 阅读全文
posted @ 2016-09-12 11:40 conanwang 阅读(778) 评论(0) 推荐(0) 编辑
摘要: 说明:当开启mysql数据库主从时,会产生大量如mysql-bin.00000* log的文件,这会大量耗费您的硬盘空间。mysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.000004mysql-bin.000005…有三种解决方法: 阅读全文
posted @ 2016-09-12 11:00 conanwang 阅读(360) 评论(0) 推荐(0) 编辑