摘要：
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明转自网址: http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task（两个实体）通过从zookeeper中读状态来领取任务，同时supervisor, task也会定义发送心跳信息到zookeeper， 使得nimbus可以监 阅读全文
摘要：
转载自：http://www.infoq.com/cn/news/2011/09/twitter-storm-real-time-hadoopTwitter将Storm正式开源了，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下。GitHub上基本是用Clojure写的。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连 阅读全文
摘要：
git config --global user.name "Zhang Zhang"git config --global user.email "zhang_zhang@live.com"git config --global credential.helper cachegit config --global credential.helper 'cache --timeout=3600'创建工作目录git initgit remote add origin https://github.com/iieplatform/***.gi 阅读全文
摘要：
转载自：http://dongxicheng.org/apache-mesos/mesos-base-libarary/1.Protocol bufferprotocalBuffer是google开源的用于数据交换的库，常用于跨语言的数据访问，担任的角色一般为对象的序列化/反序列化。 另一个与之类似的开源软件是facebook开源的thrift，它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现，但ProtocalBuffer的一个优势是其序列化/反序列化非常高效。2.Libprocesslibprocess是采用C/C++编写的高效消息传递编 阅读全文
摘要：
https://github.com/mesos/mesos/wiki/Using-ZooKeepermesos好像主要用zookeeper做为master选举，然后保持唯一的master在线http://dongxicheng.org/apache-mesos/meso-architecture/master做得尽可能地轻量级，其上面所有的元数据可以通过各个slave重新注册而进行重构，master里面包含的全为软状态 阅读全文
摘要：
转载自:http://blog.sina.com.cn/s/blog_4a1f59bf0100qotf.htmlHadoop的调度示意图如下所示：在Mesos资源管理平台上，启动Hadoop计算框架的时候，只是启动了它的JobTracker，而并没有启动TaskTracker，这主要考虑到资源伸缩性的管理。下面将介绍，当在这种框架下提交一个Hadoop作业时，调度系统如何工作的。在Mesos启动的时候，只启动了JobTracker，并没有启动TaskTracker，那么提交的作业如何执行呢？在Mesos分析3的介绍中，ResourceOffer ---》ReplyToOffer ---》Res 阅读全文