程序猿001

2017年12月4日

摘要：一、Storm相关术语： Nimbus： Storm集群主节点，负责资源的分配和任务的调度 Supervisor：Storm集群工作节点，接受Nimbus分配的任务，管理Worker Worker：Supervisor下的工作进程，具体任务执行 Task：Worker下的工作线程 Topology：阅读全文

posted @ 2017-12-04 11:48 程序猿001 阅读(616) 评论(0) 推荐(0) 编辑

Storm中重要对象的生命周期

摘要： Spout方法调用顺势 declareOutputFields()(调用一次) open() (调用一次) activate() (调用一次) nextTuple() （循环调用） deactivate() (手动调用) Bolt方法调用顺序 declareOutputFields() (调用一次阅读全文

posted @ 2017-12-04 09:44 程序猿001 阅读(389) 评论(0) 推荐(0) 编辑

Storm 消息分发策略

摘要： 1、Shuffle Grouping：随机分组，随机派发stream里面的tuple，保证每个bolt接收到的tuple数目相同。2、Fields Grouping：按字段分组，比如按userid来分组，具有同样userid的tuple会被分到相同的Bolts，而不同的userid则会被分配到不同的阅读全文

posted @ 2017-12-04 09:41 程序猿001 阅读(518) 评论(0) 推荐(0) 编辑

Storm常用的类

摘要： BaseRichSpout (消息生产者)BaseBasicBolt (消息处理者)TopologyBuilder (拓扑的构建器)Values (将数据存放到values ，发送到下个组件)Tuple(发送的数据被封装到Tuple，可以通tuple接收上个组件发送的消息)Config (配置)St 阅读全文

posted @ 2017-12-04 09:37 程序猿001 阅读(159) 评论(0) 推荐(0) 编辑

2017年12月1日

storm集群配置

摘要：环境：centos6.4软件：jzmq-master java与c++通讯的桥梁，有了它，就可以使用zeromp了storm-0.8.2zeromq-2.1.7 号称史上最牛逼的消息队列（用c++写的）zookeeper-3.4.5 主机配置： 1.修改主机名： 2.修改IP： 3.修改主机和IP的阅读全文

posted @ 2017-12-01 12:51 程序猿001 阅读(259) 评论(0) 推荐(0) 编辑

2017年11月28日

Exception in thread "main" expected '<document start>', but found BlockMappingStart in 'reader', line 23, column 2: nimbus.host: "master"

摘要：平台：centos-6.3-i386 jdk-7u51 storm 0.9.1 python 2.6.6 hadoop 1.2.1 启动storm的时候，遇到这个问题，百度之后，看到大家的解决方案是在 nimbus.host: "master"前加上空格，但是，我的已经加上空格。还是出错。启动 s 阅读全文

posted @ 2017-11-28 15:25 程序猿001 阅读(235) 评论(0) 推荐(0) 编辑

2017年11月24日

hadoop 伪分布式搭建

摘要：下载hadoop1.0.4版本，和jdk1.6版本或更高版本：1. 安装JDK，安装目录大家可以自定义，下面是我的安装目录：配置环境变量：将环境变量添加到profile文件底部：激活环境变量： 2. 安装hadoop创建hadoop用户及其hadoop组。配置IP对应域名在在hosts文件底阅读全文

posted @ 2017-11-24 17:55 程序猿001 阅读(163) 评论(0) 推荐(0) 编辑

hadoop 伪分布式搭建

摘要：下载hadoop1.0.4版本，和jdk1.6版本或更高版本：1. 安装JDK，安装目录大家可以自定义，下面是我的安装目录：配置环境变量：将环境变量添加到profile文件底部：激活环境变量： 2. 安装hadoop创建hadoop用户及其hadoop组。配置IP对应域名在在hosts文件底阅读全文

posted @ 2017-11-24 17:55 程序猿001 阅读(175) 评论(0) 推荐(0) 编辑

-bash: /tyrone/jdk/jdk1.8.0_91/bin/java: cannot execute binary file

摘要：问题描述：今天在linux环境下安装了一下JDK，安装成功后，打算输入java -version去测试一下，结果却出错了。错误信息：-bash: /tyrone/jdk/jdk1.8.0_91/bin/java: cannot execute binary file 错误图示：解决方案：该错误原阅读全文

posted @ 2017-11-24 16:50 程序猿001 阅读(6345) 评论(0) 推荐(0) 编辑

2017年11月16日

maven依赖包下载地址

摘要： http://maven.org http://mvnrepository.com/ 阅读全文

posted @ 2017-11-16 13:32 程序猿001 阅读(1440) 评论(0) 推荐(0) 编辑

公告