摘要：
一、前述 Drpc（分布式远程过程调用）是一种同步服务实现的机制，在Storm中客户端提交数据请求之后，立刻取得计算结果并返回给客户端。同时充分利用Storm的计算能力实现高密度的并行实时计算。二、具体原理 DRPC 是通过一个 DRPC 服务端(DRPC server)来实现分布式 RPC 功能的 阅读全文
摘要：
一、前述 Storm是一个流式处理框架，相比较于SparkStreaming是一个微批处理框架，hadoop是一个批处理框架。 二 、搭建流程 1.集群规划 Nimbus Supervisor Zookeepernode01 1 node02 1 1node03 1 1 node04 1 1 2.配 阅读全文
摘要：
一、前述 Storm容错机制相比其他的大数据组件做的非常不错。 二、具体原因 结合Storm集群架构图： 我们的程序提交流程如下： 其中各个组件的作用如下： Nimbus资源调度任务分配接收jar包Supervisor接收nimbus分配的任务启动、停止自己管理的worker进程（当前supervi 阅读全文
摘要：
一、前述 为了提高Storm的并行能力，通常需要设置并行。 二、具体原理 1. Storm并行分为几个方面： Worker – 进程一个Topology拓扑会包含一个或多个Worker（每个Worker进程只能从属于一个特定的Topology）这些Worker进程会并行跑在集群中不同的服务器上，即一 阅读全文
摘要：
一、前述 Storm由数源泉spout到bolt时，可以选择分组策略，实现对spout发出的数据的分发。对多个并行度的时候有用。 二、具体原理 1. Shuffle Grouping 随机分组，随机派发stream里面的tuple，保证每个bolt task接收到的tuple数目大致相同。轮询，平均 阅读全文
摘要：
一、前述 Storm是个实时的、分布式以及具备高容错的计算系统，Storm进程常驻内存 ，Storm数据不经过磁盘，在内存中处理。 二、相关概念 1.异步： 流式处理（异步）客户端提交数据进行结算，并不会等待数据计算结果。 2.同步： 实时请求应答服务（同步）客户端提交数据请求之后，立刻取得计算结果 阅读全文