摘要: 本文介绍Storm容错的设计细节。1、当一个worker进程死了会发生什么? 当worker死了,supervisor会重启它。如果它尝试开启多次失败并且不能与nimbus发送心跳,Nimbus会重新设计worker到另外一台机器上。2、一个结点死了会发生什么? 分派到这台机器上的任务将会超时并... 阅读全文
posted @ 2015-01-06 15:24 sunbylm 阅读(205) 评论(0) 推荐(0) 编辑
摘要: Storm保证每跳离开spout的消息都会被完全处理。本文介绍Storm是怎么保证每条消息都被完全处理并且作为用户该怎么做才能从Storm的可靠性保证受益。1、什么叫消息被完全处理? 一个tuple从spout出发可以触发成千上万个tuples基于它。 一个tuple被认为处理失败了,如果它的消... 阅读全文
posted @ 2015-01-06 15:09 sunbylm 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 1、是什么构成一个可运行的topology? worker processes(worker进程),executors(线程)和tasks。 一台Storm集群里面的机器可能运行一个或多个worker进程,一个worker进程运行一个特定topology的executors。 一个worker... 阅读全文
posted @ 2015-01-06 14:17 sunbylm 阅读(265) 评论(0) 推荐(0) 编辑
摘要: 1、什么是Spark? Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MadReduce所具有的优点;但不同于MapReduce的是Job中间输出的结果可以... 阅读全文
posted @ 2015-01-05 17:11 sunbylm 阅读(1648) 评论(0) 推荐(0) 编辑
摘要: 首先,Spark是MapReduce-like(架构上和多数分布式计算框架类似),Spark有分配任务的主节点(Driver)和执行计算的工作节点(Worker)。 其次,Low-latency基本上应该是源于Worker进程较长的生命周期,可以在一个Job过程中长驻内存执行 阅读全文
posted @ 2015-01-04 15:27 sunbylm 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 从AMQP协议可以看出,MessageQueue、Exchange和Binding构成了AMQP协议的核心。下面我们就围绕这三个主要组件,从应用使用的角度全面的介绍如何利用RabbitMQ构建消息队列以及使用过程中的注意事项。声明MessageQueue: 在RabbitMQ中,无论是生产者发送... 阅读全文
posted @ 2014-12-30 17:12 sunbylm 阅读(833) 评论(0) 推荐(0) 编辑
摘要: 工作队列:Working Queue分配:多个客户端接收同一个Queue,如何做负载均衡(分配)。 Round-robin分配:多个接收端接收同一个Queue时,采用了Round-robin分配算法,即伦叫调度-依次分配给各个接收方。消息确认: 默认开启了消息确认(接收方接收到消息后,立即向服务... 阅读全文
posted @ 2014-12-30 11:21 sunbylm 阅读(462) 评论(0) 推荐(0) 编辑
摘要: http://download.eeworld.com.cn/detail/bootloader/37659 阅读全文
posted @ 2014-08-20 22:54 sunbylm 阅读(591) 评论(0) 推荐(0) 编辑
摘要: http://www.cnblogs.com/yangyh/archive/2011/07/15/2107824.html 阅读全文
posted @ 2014-08-20 15:39 sunbylm 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 本帖最后由 tsingjun 于 12/9/20 04:46 PM 编辑 Xcode 4.4.1正式版下载地址 http://kuai.xunlei.com/d/UXZFTWONQLUD XCode 4.5正式版下载地址: http://kuai.xunlei.com/d/UVKGYFNQIYLG 附上command_line_tools_for_xcode_4.5_... 阅读全文
posted @ 2014-08-20 12:55 sunbylm 阅读(281) 评论(0) 推荐(1) 编辑