2015年4月12日

storm的并发和消息保障性

摘要： Storm并发配置的优先级： defaults.yaml < storm.yaml < topology-specific configuration < internal component-specific configuration < external component-specific configuration 通过下图来理解并行度的一些配置： 消息的可靠处理机制... 阅读全文

posted @ 2015-04-12 13:42 tneduts 阅读(273) 评论(0) 推荐(0) 编辑

Storm之spout,bolt编写

摘要： Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己的task,通知自己的worker进程进行Task的处理。 Spout的主要方法： op... 阅读全文

posted @ 2015-04-12 13:23 tneduts 阅读(2077) 评论(0) 推荐(0) 编辑

Storm 基础知识

摘要： 分布式的实时计算框架，storm对于实时计算的意义类似于hadoop对于批处理的意义。 Storm的适用场景： 1.流数据处理：storm可以用来处理流式数据，处理之后将结果写到某个存入中去。 2.持续计算：连续发送数据到客户端，使它们能够实时更新并显示结果，如网站指标 3.分布式RPC：由于storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式rpc框架来使用。... 阅读全文

posted @ 2015-04-12 09:42 tneduts 阅读(394) 评论(0) 推荐(0) 编辑

导航