Storm - 随笔分类 - duanxz

flume+kafka+storm+mysql架构设计

摘要：前段时间学习了storm，最近刚开blog，就把这些资料放上来供大家参考。这个框架用的组件基本都是最新稳定版本，flume-ng1.4+kafka0.8+storm0.9+mysql （项目是maven项目，需要改动mysql配置，提供两种topology：读取本地文件（用来本地测试）；读取服务器阅读全文

posted @ 2015-11-26 20:24 duanxz 阅读(1620) 评论(0) 推荐(0) 编辑

Twitter Storm如何保证消息不丢失

摘要：storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”完全处理”是什么意思？就如同蝴蝶效应一样，从spout发射的一个tuple可以引起其它成千上万个tuple因它而产生， ... 阅读全文

posted @ 2015-08-29 16:07 duanxz 阅读(268) 评论(0) 推荐(0) 编辑

Twitter Storm: storm的一些常见模式

摘要：这篇文章列举出了storm topology里面的一些常见模式：流聚合(stream join)批处理(Batching)BasicBolt内存内缓存 + fields grouping 组合计算top N用TimeCacheMap来高效地保存一个最近被更新的对象的缓存分布式RPC:Coordina... 阅读全文

posted @ 2015-08-29 16:01 duanxz 阅读(565) 评论(0) 推荐(0) 编辑

Storm实战常见问题及解决方案

摘要：该文档为实实在在的原创文档，转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型详细备注该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。相关描述 ² 其他相关文档请参考新浪博客http://blo 阅读全文

posted @ 2015-08-04 13:33 duanxz 阅读(2444) 评论(0) 推荐(0) 编辑

Storm并行度详解

摘要：一、Storm并行度相关的概念 Storm集群有很多节点，按照类型分为nimbus（主节点）、supervisor（从节点），在conf/storm.yaml中配置了一个supervisor,有多个槽（supervisor.slots.ports），每个槽就是一个JVM，就是一个worker(一个节阅读全文

posted @ 2015-08-04 13:32 duanxz 阅读(2063) 评论(0) 推荐(0) 编辑

Strom配置说明

摘要：在进群生产环境下运行Topology和在本地模式下运行非常相似。下面是步骤： 1、定义Topology（如果使用Java开发语言，则使用TopologyBuilder来创建） 2、使用StormSubmitter向集群提交Topology。StormSubmitter有三个参数，Topology的名阅读全文

posted @ 2015-08-04 13:32 duanxz 阅读(886) 评论(0) 推荐(0) 编辑

Storm 1.0 新特性

摘要：Storm 1.0.0版本增加了很多新的特性，可用性以及性能也得到了很大的改善，该版本是Storm发展历程上一个里程碑式的版本，主要特点如下。性能提升 Storm 1.0.0版本最大的亮点就是性能提升，和之前的版本先比，Storm 1.0的速度能够提升至16倍，延迟能够降低至60%。Storm的拓阅读全文

posted @ 2015-08-04 13:31 duanxz 阅读(705) 评论(0) 推荐(0) 编辑

Storm的本地运行模式示例

摘要：以word count为例，本地化运行模式（不需要安装zookeeper、storm集群），maven工程， pom.xml文件如下：代码如下：结果如下：阅读全文

posted @ 2015-08-04 13:30 duanxz 阅读(1289) 评论(0) 推荐(0) 编辑

Strom-7 Storm Trident 详细介绍

摘要：一、概要1.1 Storm(简介) Storm是一个实时的可靠地分布式流计算框架。具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）；通过Storm对消息进行计算聚合等预处理；把处理结果持久化到N... 阅读全文

posted @ 2015-08-04 13:29 duanxz 阅读(1974) 评论(0) 推荐(0) 编辑

Storm-6 Storm的并行度、Grouping策略以及消息可靠处理机制简介

摘要：概念：配置并行度动态的改变并行度流分组策略----Stream Grouping消息的可靠处理机制概念：Workers (JVMs): 在一个节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker pro... 阅读全文

posted @ 2015-08-04 13:29 duanxz 阅读(486) 评论(0) 推荐(0) 编辑

Storm入门教程第五章一致性事务【转】

摘要：Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。Transactional Topo... 阅读全文

posted @ 2015-08-03 22:58 duanxz 阅读(379) 评论(0) 推荐(0) 编辑

storm入门教程第四章消息的可靠处理【转】

摘要：4.1 简介 storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。 4.2 理解消息被完整处理一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此阅读全文

posted @ 2015-08-03 22:57 duanxz 阅读(369) 评论(0) 推荐(0) 编辑

Storm入门教程第三章Storm集群安装部署步骤、storm开发环境

摘要：一. Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态阅读全文

posted @ 2015-08-03 22:54 duanxz 阅读(1122) 评论(0) 推荐(0) 编辑

Storm 01之 Storm基本概念及第一个demo

摘要：2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念： supervisor:英[ˈsu:pəvaɪzə(r)]监督者，管理者; 镇长; Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（top 阅读全文

posted @ 2015-08-03 22:38 duanxz 阅读(837) 评论(0) 推荐(0) 编辑

storm入门教程第一章前言[转]

摘要：1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转阅读全文

posted @ 2015-08-03 22:11 duanxz 阅读(538) 评论(0) 推荐(0) 编辑

随笔分类 - Storm

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论