随笔分类 - 【52】Storm
摘要：环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 storm-0.9 apache-flume-1.6.0 一、storm三种事务1、普通事务（常用）2、Partitioned Transaction -
阅读全文
摘要：环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 storm-0.9 apache-flume-1.6.0 一、Flume+Kafka+Storm架构设计 采集层：实现日志收集，使用负载均衡策略消息队列：作
阅读全文
摘要：环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 storm-0.9 一、DRPC DRPC：Distributed remote procedure call，分布式远程过程调用，DRPC是通过一个DRP
阅读全文
摘要：storm 引入redis ,主要是使用redis缓存库暂存storm的计算结果，然后redis供其他应用调用取出数据。 新建maven工程 pom.xml Topology spout StormRedisBolt
阅读全文
摘要：storm 使用kafka做数据源，还可以使用文件、redis、jdbc、hive、HDFS、hbase、netty做数据源。 新建一个maven 工程： pom.xml KafkaTopology
阅读全文
摘要：1、集群节点宕机Nimbus服务器 单点故障，大部分时间是闲置的，在supervisor挂掉时会影响，所以宕机影响不大，重启即可非Nimbus服务器 故障时，该节点上所有Task任务都会超时，Nimbus会将这些Task任务重新分配到其他服务器上运行 2、进程挂掉Worker 挂掉时，Supervi
阅读全文
摘要：一、并行机制 Storm的并行度 ，通过提高并行度可以提高storm程序的计算能力。 1.组件关系：Supervisor node物理节点,可以运行1到多个worker,不能超过supervisor.slots.ports数量；worker：工作进程，即jvm.为特定拓扑的一个或者多个组件Spout
阅读全文
摘要：大数据处理框架之Strom: Storm helloword Storm按照设计好的拓扑流程运转，所以写代码之前要先设计好拓扑图。这里写一个简单的拓扑： 第一步：创建一个拓扑类含有main方法的类型，作为程序入口： 第二步：创建数据源类方式一：继承backtype.storm.topology.ba
阅读全文
摘要：搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) zookeeper-3.4.11 jdk1.7.0_80 Python 2.7.5 (https://www.cnblogs.com/kimyeee/p/7250560.html) 集群
阅读全文
摘要：Storm是分布式实时计算系统，用于数据的实时分析、持续计算，分布式RPC等。 （备注：5种常见的大数据处理框架：· 仅批处理框架：Apache Hadoop；· 仅流处理框架：Apache Storm 和 Apache Samza；· 混合框架：Apache Spark 和 Apache Flin
阅读全文
