随笔分类 - [405]Storm
大数据生态
摘要:1. Storm程序的并发机制 1.1 概念 Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker
阅读全文
摘要:1 文档说明 该文档描述的是以storm为主体的实时处理架构,该架构包括了数据收集部分,实时处理部分,及数据落地部分。 关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关,会一一进行分析。 该架构是本人所掌握的一种架构,可能会与其他架构有相似的部分,个人会一一解释对其的理解。 这个文章写的
阅读全文
摘要:建立一个maven项目,在pom.xml中进行如下配置: 项目目录为: MySpout.java: MySplitBolt.java: MyCountBolt.java: WordCountTopoloyMain.java: 三种求wordcount方式 比较: 整体运行架构图:
阅读全文
摘要:需求: spout输出一些手机品牌小写名称,第一个bolt将手机名称转成大写,第二个bolt在手机名称的后面再追加上时间。 项目目录: 导入相关的jar包。 RandomWordSpout.java: UpperBolt.java: SuffixBolt.java: TopoMain.java: 执
阅读全文
摘要:1、安装一个zookeeper集群 2、上传storm的安装包,解压 3、修改配置文件conf/storm.yaml #所使用的zookeeper集群主机storm.zookeeper.servers:- "weekend01"- "weekend02"- "weekend03" #nimbus所在
阅读全文
摘要:1. 简介 流式计算的历史 早在7、8年前诸如UC伯克利、斯坦福等大学就开始了对流式数据处理的研究,但是由于更多的关注于金融行业的业务场景或者互联网流量监控的业务场景,以及当时互联网数据场景的限制,造成了研究多是基于对传统数据库处理的流式化,对流式框架本身的研究偏少。目前这样的研究逐渐没有了声音,工
阅读全文