打赏

随笔分类 -  Storm编程入门API系列

摘要:概念,见博客 Storm概念学习系列之storm的定时任务 Storm的定时任务,分为两种实现方式,都是可以达到目的的。 我这里,分为StormTopologyTimer1.java 和 StormTopologyTimer2.java 编写代码StormTopologyTimer1.java 我这 阅读全文
posted @ 2017-07-28 15:10 大数据和AI躺过的坑 阅读(1443) 评论(0) 推荐(0) 编辑
摘要:概念,见博客 Storm概念学习系列之storm的可靠性 什么业务场景需要storm可靠性的ACK确认机制? 答:想要保住数据不丢,或者保住数据总是被处理。即若没被处理的,得让我们知道。 编写代码 StormTopologyAcker.java 停掉,我们复制粘贴来分析分析 ok! 阅读全文
posted @ 2017-07-28 13:55 大数据和AI躺过的坑 阅读(1802) 评论(0) 推荐(0) 编辑
摘要:概念,见博客 Storm概念学习系列之stream grouping(流分组) Storm的stream grouping的Shuffle Grouping 它是随机分组,随机派发stream里面的tuple,保证polt的每个人物接收到的tuple数目相同。(它能实现较好的负载均衡) 如果工作中没 阅读全文
posted @ 2017-07-28 09:58 大数据和AI躺过的坑 阅读(3152) 评论(0) 推荐(0) 编辑
摘要:前期博客 Storm编程入门API系列之Storm的Topology默认Workers、默认executors和默认tasks数目 Storm编程入门API系列之Storm的Topology多个Workers数目控制实现 继续编写 StormTopologyMoreTask.java 打jar包 提 阅读全文
posted @ 2017-07-27 23:17 大数据和AI躺过的坑 阅读(269) 评论(0) 推荐(0) 编辑
摘要:前期博客 Storm编程入门API系列之Storm的Topology默认Workers、默认executors和默认tasks数目 Storm编程入门API系列之Storm的Topology多个Workers数目控制实现 继续编写 StormTopologyMoreExecutor.java 打ja 阅读全文
posted @ 2017-07-27 23:02 大数据和AI躺过的坑 阅读(395) 评论(0) 推荐(0) 编辑
摘要:前期博客 Storm编程入门API系列之Storm的Topology默认Workers、默认executors和默认tasks数目 继续编写 StormTopologyMoreWorker.java 打jar包 提交作业之前 提交之后 为什么,会是如上的数字呢?大家要学,就要深入去学和理解。 因为, 阅读全文
posted @ 2017-07-27 22:56 大数据和AI躺过的坑 阅读(632) 评论(0) 推荐(0) 编辑
摘要:关于,storm的启动我这里不多说了。 见博客 storm的3节点集群详细启动步骤(非HA和HA)(图文详解) 建立stormDemo项目 Group Id : zhouls.bigdata Artifact Id : stormDemo Package : stormDemo 编写代码StormT 阅读全文
posted @ 2017-07-27 22:35 大数据和AI躺过的坑 阅读(1177) 评论(0) 推荐(1) 编辑
摘要:不多说,直接上干货! 对于storm来说,并行度的概念非常重要!大家一定要好好理解和消化。 storm的并行度,可以简单的理解为多线程。 如何提高storm的并行度? storm程序主要由spout和bolt组成的。spout和bolt在运行期间会生成task实例(new Spout或者new bo 阅读全文
posted @ 2017-07-27 21:13 大数据和AI躺过的坑 阅读(664) 评论(0) 推荐(0) 编辑
摘要:开始使用storm 本章将讲述如何安装、部署、启动和停止 Storm 集群。 Storm 的安装比较简单,但在安装 Storm 之前需要做好充足的准备,本章将介绍安装的整个流程。在官网上可以下载到Storm 最新的和稳定的几个版本。截至本书截稿之前, Storm 的最新版本是 0.9.3,但是本书主 阅读全文
posted @ 2016-10-23 11:28 大数据和AI躺过的坑 阅读(1327) 评论(0) 推荐(1) 编辑
摘要:不多说,直接上干货! 这是书籍《从零开始学Storm》赵必厦 2014年出版的配套代码! storm-starter项目包含使用storm的各种各样的例子。项目托管在GitHub上面,其网址为: http://github.com/nathanmarz/storm-starter 或者 storm- 阅读全文
posted @ 2016-10-23 11:00 大数据和AI躺过的坑 阅读(2321) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示