2013年3月24日

Storm使用到的相关技术总结

摘要： 转载自：Storm使用到的相关技术总结 Storm作为一个开源的分布式实时流计算框架，其内部实现使用了一些常用的技术，这里是对这些技术及其在Storm中作用的概括介绍。以此为基础，后续再深入了解Storm的内部实现细节。 1. Zookeeper集群 Zookeeper是一个针对大型分布... 阅读全文

posted @ 2013-03-24 16:30 哼哼唧唧 阅读(113) 评论(0) 推荐(0) 编辑

使用 Twitter Storm 处理实时的大数据

摘要： 转载自：使用 Twitter Storm 处理实时的大数据 简介： Storm 是一个开源的、大数据处理系统，与其他系统不同，它旨在用于分布式实时处理且与语言无关。了解 Twitter Storm、它的架构，以及批处理和流式处理解决方案的发展形势。 Hadoop（大数据分析领域无可争辩的王... 阅读全文

posted @ 2013-03-24 15:22 哼哼唧唧 阅读(135) 评论(0) 推荐(0) 编辑

Understanding the parallelism of a Storm topology

摘要： 转载自：storm官方文档 Storm distinguishes between the following three main entities that are used to actually run a topology in a Storm cluster: W... 阅读全文

posted @ 2013-03-24 14:54 哼哼唧唧 阅读(155) 评论(0) 推荐(0) 编辑

storm入门教程 第四章 消息的可靠处理

摘要： 转载自：量子恒道官方博客 4.1 简介 storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。 4.2 理解消息被完整处理 一个消息(tuple)从s... 阅读全文

posted @ 2013-03-24 14:39 哼哼唧唧 阅读(128) 评论(0) 推荐(0) 编辑

Storm入门教程 第二章 构建Topology

摘要： 转载自：量子恒道官方博客 2.1 Storm基本概念 在运行一个Storm任务之前，需要了解一些概念： TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfiguration Storm集群和... 阅读全文

posted @ 2013-03-24 14:26 哼哼唧唧 阅读(150) 评论(0) 推荐(0) 编辑

导航