随笔分类 -  kafka+Storm+flume学习

java 学习之路
摘要：一、基础篇 1.1 JVM 1.1.1. Java内存模型，Java内存管理，Java堆和栈，垃圾回收 http://www.jcp.org/en/jsr/detail?id=133 http://ifeve.com/jmm-faq/ 1.1.2. 了解JVM各种参数及调优 1.1.3. 学习使用J 阅读全文
posted @ 2015-12-30 14:25 积淀 阅读(554) 评论(0) 推荐(1)
storm深入研究
摘要：著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：He Ransom链接：http://www.zhihu.com/question/23441639/answer/28075683来源：知乎、入门 安装storm集群，运行示例工程，明白什么是流处理，明白spout，bolt... 阅读全文
posted @ 2015-11-18 20:20 积淀 阅读(257) 评论(0) 推荐(0)
storm简介
摘要：场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出... 阅读全文
posted @ 2015-11-12 15:38 积淀 阅读(432) 评论(0) 推荐(0)
Storm：最火的流式处理框架
摘要：诞 生 在2011年Storm开源之前，由于Hadoop的火红，整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。 有需求也就有创造，在Hadoop基本奠定了大数据... 阅读全文
posted @ 2015-11-12 12:46 积淀 阅读(1222) 评论(0) 推荐(0)
storm学习之开始-安装和部署
该文被密码保护。
posted @ 2015-11-08 22:07 积淀 阅读(25) 评论(0) 推荐(0)
flume的安装和部署及应用
摘要：../bin/flume-ng agent -c . -f ./avro.conf -n a1 -Dflume.root.logger=INFO,console./flume-ng avro-client -c . -H EBJ1023.local -p 4141 -F ./log.00http:/... 阅读全文
posted @ 2015-11-08 21:17 积淀 阅读(189) 评论(0) 推荐(0)
ZooKeeper安装配置
摘要：1.安装JDK 2.配置环境变量 3.下载zk wget mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 4.配置host 5.zk配置，slave-01为例 6.scp复制到其他主机slave-02 阅读全文
posted @ 2015-11-08 14:05 积淀 阅读(290) 评论(0) 推荐(0)
艺龙Checklist日志收集系统
该文被密码保护。
posted @ 2015-11-04 15:32 积淀 阅读(1) 评论(0) 推荐(0)
利用flume+kafka+storm+mysql构建大数据实时系统
摘要：架构图数据流向图1.Flume 的一些核心概念：2.数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如下图： Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带... 阅读全文
posted @ 2015-11-01 21:33 积淀 阅读(826) 评论(0) 推荐(0)
基于Flume的日志收集系统(二)改进和优化
该文被密码保护。
posted @ 2015-10-28 23:09 积淀 阅读(1) 评论(0) 推荐(0)
基于Flume的日志收集系统(一)架构和设计
该文被密码保护。
posted @ 2015-10-28 22:42 积淀 阅读(0) 评论(0) 推荐(0)
flume-ng+Kafka+Storm+HDFS 实时系统搭建
摘要：转自：http://www.tuicool.com/articles/mMrQnu7一 直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也 跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错... 阅读全文
posted @ 2015-03-10 12:57 积淀 阅读(533) 评论(0) 推荐(0)