2016 年 1月 10 日随笔档案 - 松伯

2016年1月10日

摘要： Storm系统的数据处理应用单元，是被打包的被称为Topology的作业。它是由多个数据处理阶段组合而成的，而每个处理阶段在构造时被称为组件(Component),在运行时被称为任务。那么，组件根据作用的不同，在Storm中分为两类:Spout组件和Bolt组件。而Topology就是这两类组件通... 阅读全文

posted @ 2016-01-10 21:38 松伯阅读(350) 评论(0) 推荐(0) 编辑

storm系统架构学习

摘要： Storm架构如下图所示:1、主控节点(Master Node) 运行Storm nimbus后台服务的节点(Nimbus)，它是storm系统的中心，负责接收用户提交的作业(如同spark submit一样即为jar包形式保存的topology代码)，通过Zookeeper向每个工作节点分配处... 阅读全文

posted @ 2016-01-10 20:59 松伯阅读(824) 评论(0) 推荐(0) 编辑

storm概念学习及流处理与批处理的区别

摘要：在过去10 年中，随着互联网应用的高速发展，企业积累的数据量越来越大，越来越多。随着Google MapReduce、Hadoop 等相关技术的出现，处理大规模数据变得简单起来，但是这些数据处理技术都不是实时的系统，它们的设计目标也不是实时计算。毕竟实时的计算系统和基于批处理模型的系统（如Hadoo... 阅读全文

posted @ 2016-01-10 19:05 松伯阅读(6689) 评论(2) 推荐(1) 编辑

Spark on Yarn 架构解析

摘要：。一、Hadoop Yarn组件介绍:我们都知道yarn重构根本的思想，是将原有的JobTracker的两个主要功能资源管理器和任务调度监控分离成单独的组件。新的架构使用全局管理所有应用程序的计算资源分配。主要包含三个组件ResourceManager 、NodeManager和Applic... 阅读全文

posted @ 2016-01-10 11:32 松伯阅读(2876) 评论(0) 推荐(2) 编辑