摘要：
转载自：http://blog.sina.com.cn/s/blog_406d9bb00100ui5p.htmlStorm是一个分布式的、容错的实时计算系统，遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoop之于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息。可以使用任意编程语言来做开发。主要商业应用及案例：TwitterStorm的优点1. 简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行 阅读全文
摘要：
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明转自网址: http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task（两个实体）通过从zookeeper中读状态来领取任务，同时supervisor, task也会定义发送心跳信息到zookeeper， 使得nimbus可以监 阅读全文
摘要：
转载自：http://www.infoq.com/cn/news/2011/09/twitter-storm-real-time-hadoopTwitter将Storm正式开源了，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下。GitHub上基本是用Clojure写的。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连 阅读全文
摘要：
git config --global user.name "Zhang Zhang"git config --global user.email "zhang_zhang@live.com"git config --global credential.helper cachegit config --global credential.helper 'cache --timeout=3600'创建工作目录git initgit remote add origin https://github.com/iieplatform/***.gi 阅读全文
摘要：
转载自：http://dongxicheng.org/apache-mesos/mesos-base-libarary/1.Protocol bufferprotocalBuffer是google开源的用于数据交换的库，常用于跨语言的数据访问，担任的角色一般为对象的序列化/反序列化。 另一个与之类似的开源软件是facebook开源的thrift，它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现，但ProtocalBuffer的一个优势是其序列化/反序列化非常高效。2.Libprocesslibprocess是采用C/C++编写的高效消息传递编 阅读全文
摘要：
https://github.com/mesos/mesos/wiki/Using-ZooKeepermesos好像主要用zookeeper做为master选举，然后保持唯一的master在线http://dongxicheng.org/apache-mesos/meso-architecture/master做得尽可能地轻量级，其上面所有的元数据可以通过各个slave重新注册而进行重构，master里面包含的全为软状态 阅读全文
摘要：
转载自:http://blog.sina.com.cn/s/blog_4a1f59bf0100qotf.htmlHadoop的调度示意图如下所示：在Mesos资源管理平台上，启动Hadoop计算框架的时候，只是启动了它的JobTracker，而并没有启动TaskTracker，这主要考虑到资源伸缩性的管理。下面将介绍，当在这种框架下提交一个Hadoop作业时，调度系统如何工作的。在Mesos启动的时候，只启动了JobTracker，并没有启动TaskTracker，那么提交的作业如何执行呢？在Mesos分析3的介绍中，ResourceOffer ---》ReplyToOffer ---》Res 阅读全文