摘要: 本文介绍Storm容错的设计细节。1、当一个worker进程死了会发生什么? 当worker死了,supervisor会重启它。如果它尝试开启多次失败并且不能与nimbus发送心跳,Nimbus会重新设计worker到另外一台机器上。2、一个结点死了会发生什么? 分派到这台机器上的任务将会超时并... 阅读全文
posted @ 2015-01-06 15:24 sunbylm 阅读(205) 评论(0) 推荐(0) 编辑
摘要: Storm保证每跳离开spout的消息都会被完全处理。本文介绍Storm是怎么保证每条消息都被完全处理并且作为用户该怎么做才能从Storm的可靠性保证受益。1、什么叫消息被完全处理? 一个tuple从spout出发可以触发成千上万个tuples基于它。 一个tuple被认为处理失败了,如果它的消... 阅读全文
posted @ 2015-01-06 15:09 sunbylm 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 1、是什么构成一个可运行的topology? worker processes(worker进程),executors(线程)和tasks。 一台Storm集群里面的机器可能运行一个或多个worker进程,一个worker进程运行一个特定topology的executors。 一个worker... 阅读全文
posted @ 2015-01-06 14:17 sunbylm 阅读(265) 评论(0) 推荐(0) 编辑