随笔分类 - 分布式计算

分布式计算相关的技术和开发经验

Hadoop Capacity Scheduler源码实现剖析

摘要：前段时间项目中使用到了Hadoop Capacity Scheduler调度器，根据业务需求，需要进行二次开发工作，因此研究了其实现原理及源码，这里是自己做的一些总结工作。阅读全文

posted @ 2013-09-13 18:03 大圆那些事阅读(3334) 评论(1) 推荐(0) 编辑

Storm集群安装部署步骤【详细版】

摘要：本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。阅读全文

posted @ 2012-11-30 15:08 大圆那些事阅读(71505) 评论(8) 推荐(5) 编辑

Storm常见问题及解决方法收集【持续更新中】

摘要：以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理，其中部分问题的解决方法来自于网络，由于已找不到原始链接，抱歉这里没有逐一列举。阅读全文

posted @ 2012-11-23 10:08 大圆那些事阅读(19343) 评论(3) 推荐(3) 编辑

Storm数据流模型的分析及讨论

摘要：本文首先介绍了Storm的基本概念和数据流模型，然后结合一个典型应用场景来说明Storm支持Topology之间数据流订阅的必要性，最后对比了Storm与另一个流处理系统在数据流模型上的区别之处。阅读全文

posted @ 2012-07-29 16:06 大圆那些事阅读(34584) 评论(8) 推荐(0) 编辑

对互联网海量数据实时计算的理解

摘要：本文依次介绍了互联网领域海量数据实时计算的基本概念、相关技术和产品以及一个简单的应用实例。阅读全文

posted @ 2011-10-28 01:06 大圆那些事阅读(18894) 评论(9) 推荐(11) 编辑

分布式系统Hadoop源码阅读与分析（一）：作业调度器实现机制

摘要：上一篇博文对Hadoop的作业调度器进行了介绍，我们知道，JobTracker和TaskTracker是Hadoop作业调度过程中最核心的两个部分，前者负责map/reduce作业的调度与分派，后者负责map/reduce作业的实际执行，它们之间通过RPC机制进行通讯。下面将对Hadoop 0.20.2版本中作业调度相关源码进行分析，至于JobTracker和TaskTracker中与作业调度无关的源码部分，并未进行详细介绍。阅读全文

posted @ 2011-09-04 16:33 大圆那些事阅读(6351) 评论(11) 推荐(2) 编辑

分布式系统Hadoop作业调度器及其问题的讨论

摘要：Hadoop作业调度器的设计采用的是插件机制，即作业调度器是动态加载的、可插拔的，同时第三方可以开发自己的作业调度器替代Hadoop默认的调度器。目前，Hadoop的作业调度器主要有以下三个：FIFO Scheduler、Capacity Scheduler、Fair Scheduler。这里对Hadoop作业调度器的基本原理进行介绍，然后就其存在的问题给出了自己的理解。阅读全文

posted @ 2011-09-04 16:02 大圆那些事阅读(3857) 评论(1) 推荐(0) 编辑