随笔分类 -  Storm

Storm入门（十四）Trident API Overview
摘要：The core data model in Trident is the "Stream", processed as a series of batches. A stream is partitioned among the nodes in the cluster, and operatio 阅读全文
posted @ 2017-06-14 11:20 静候东风 阅读(401) 评论(0) 推荐(0) 编辑
Storm入门（十三）Storm Trident 教程
摘要：转自：http://blog.csdn.net/derekjiang/article/details/9126185 英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial Trident是在storm基础上，一个以realtim 阅读全文
posted @ 2017-06-13 15:14 静候东风 阅读(787) 评论(0) 推荐(1) 编辑
Storm入门（十二）Twitter Storm: DRPC简介
摘要：作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/756/twitter-storm-drpc/ 本文翻译自： https://github.com/nathanmarz/storm 阅读全文
posted @ 2017-06-13 10:49 静候东风 阅读(2877) 评论(0) 推荐(0) 编辑
Storm入门（十一）Twitter Storm源代码分析之CoordinatedBolt
摘要：作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/811/twitter-storm-code-analysis-coordinated-bolt/ 关于Twitter Storm的 阅读全文
posted @ 2017-06-13 07:35 静候东风 阅读(352) 评论(0) 推荐(0) 编辑
Storm入门（十）Twitter Storm: Transactional Topolgoy简介
摘要：作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 本文翻译自: https://github.co 阅读全文
posted @ 2017-06-13 07:34 静候东风 阅读(420) 评论(0) 推荐(0) 编辑
Storm入门（九）Storm常见模式之流聚合
摘要：流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。 从定义上看，流聚合和SQL中表的聚合（table join）很像，但是二者有明显的区别：table join的输入是有限的，并且join的语义是非常明确的；而流聚合的语义是不明 阅读全文
posted @ 2017-06-10 23:14 静候东风 阅读(781) 评论(0) 推荐(0) 编辑
Storm入门（八）Storm实战常见问题总结（持续更新）
摘要：一、本地环境log级别设置问题 storm-core-1.1.0.jar下面有个log4j2.xml文件，默认log级别是info。 可以maven工程main/resources下面新建一个log4j2.xml文件，调整log级别。 ... 阅读全文
posted @ 2017-06-09 23:02 静候东风 阅读(523) 评论(0) 推荐(0) 编辑
Storm入门（七）可靠性机制代码示例
摘要：一、关联代码 使用maven，代码如下。 pom.xml 参考 http://www.cnblogs.com/hd3013779515/p/6970551.html MessageTopology.java MessageSpou.java SpliterBolt.java WriterBolt.j 阅读全文
posted @ 2017-06-09 16:21 静候东风 阅读(603) 评论(0) 推荐(0) 编辑
Storm入门（五）Twitter Storm如何保证消息不丢失
摘要：转自：http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/ storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。 一个tuple 阅读全文
posted @ 2017-06-09 14:58 静候东风 阅读(619) 评论(0) 推荐(0) 编辑
Storm入门（六）深入理解可靠性机制
摘要：转自http://blog.csdn.net/zhangzhebjut/article/details/38467145 一 可靠性简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理。完全处理的意思是该MessageId绑定的源Tuple 阅读全文
posted @ 2017-06-09 14:56 静候东风 阅读(2192) 评论(0) 推荐(0) 编辑
Storm入门（四）WordCount示例
摘要：一、关联代码 使用maven，代码如下。 pom.xml 和Storm入门（三）HelloWorld示例相同 RandomSentenceSpout.java /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the N... 阅读全文
posted @ 2017-06-09 09:55 静候东风 阅读(5518) 评论(0) 推荐(0) 编辑
Storm入门（三）HelloWorld示例
摘要：一、配置开发环境 storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候，你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的topology会在一个集群的机器上执行。 建议使用maven，只需要加上storm的依赖就可以了。 阅读全文
posted @ 2017-06-08 23:26 静候东风 阅读(10955) 评论(1) 推荐(1) 编辑
Storm入门（一）原理介绍
摘要：问题导读：1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有maste 阅读全文
posted @ 2017-06-08 15:13 静候东风 阅读(2234) 评论(0) 推荐(1) 编辑
Storm入门（二）集群环境安装
摘要：1.集群规划 storm版本的变更：storm0.9.x storm0.10.x storm1.x上面这些版本里面storm的核心源码是由Java+clojule组成的。storm2.x后期这个版本就是全部用java重写了。（阿里在很早的时候就对storm进行了重写，提供了jstorm，后期jsto 阅读全文
posted @ 2017-06-08 09:51 静候东风 阅读(983) 评论(0) 推荐(0) 编辑