随笔分类 - Distributed System
摘要：这期折腾了比较长的时间，从稿件筹备到整理，都不容易，但总算还是出来了，希望能给大家带来些许帮助。在这里再次感谢为这期《Hadoop开发者》做出贡献的童鞋们，you're so nice!目 录mooon海量数据处理平台架构演变计算不均衡问题在Hive中的解决办法Join算子在Hadoop中的实现配置Hive元数据DB为PostgreSQLZooKeeper权限管理机制ZooKeeper服务器工作原理和流程ZooKeeper实现共享锁Hadoop最佳实践通过Hadoop的API管理JobHadoop集群的配置调优Hadoop平台的Java规范及经验MapReduce开发经验总结Hadoo
阅读全文
摘要：Alibaba DFS这个PDF是我从阿里巴巴的《互联网时代的软件革命》这本书里扫描出来，放到Hadoop群里给大家共享的，但时不时发现有人来寻这个PDF，原来在我的小站上有下载链接，但现在挂了，所以在网上貌似没的下了。这里我再上传一次吧，方便想下载的人。 ADFS这个东西到底只是虚构的还是真实存在，我不得而知，请找阿里人询问。 如果这东西侵权或干啥的，请联系我，我撤掉。 >>点...
阅读全文
摘要：最近看到调度器这一块，发现Hadoop官方文档中有关公平调度器（Fair Scheduler Guide）和容量调度器（Capacity Scheduler Guide）部分的文档还没有汉化，Google了下也未发现有相关汉化，So，我班门弄斧，抛砖引玉一下了。这里先奉上公平调度器的中文版。由于我一直用Cloudera Hadoop 0.20.1+152的版本，所以这个汉化也是基于里面的文档来的。...
阅读全文
摘要：来自原小站，曾经迷糊过的东西，表上来，希望对正在迷糊或即将迷糊的人有帮助。 谈到系统的可伸缩性，Scale-up（纵向扩展）和Scale-out（横向扩展）是两个常见的术语，对于初学者来说，很容易搞迷糊这两个概念，这里总结了一些把概念解释的比较清楚的内容。 首先来段Wikipedia的，讲的很透彻了。 Scale vertically (scale up) To scale vertica...
阅读全文
