随笔分类 -  HDFS

12
摘要：1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户 阅读全文
posted @ 2016-09-13 23:42 conanwang 阅读(189) 评论(0) 推荐(0) 编辑
【转载】漫谈HADOOP HDFS BALANCER
摘要：Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。 阅读全文
posted @ 2016-09-12 11:44 conanwang 阅读(537) 评论(0) 推荐(0) 编辑
【转载】HDFS 上传文件不均衡和Balancer太慢的问题
摘要：向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。 解决的办法： 1、从其他非datanode节点上传 可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的nameno 阅读全文
posted @ 2016-09-12 11:40 conanwang 阅读(794) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示