摘要: http://blog.csdn.net/xiao_jun_0820/article/details/38111305 阅读全文
posted @ 2015-08-21 18:10 暗痛 阅读(156) 评论(0) 推荐(0) 编辑
摘要: Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心... 阅读全文
posted @ 2015-08-21 17:31 暗痛 阅读(670) 评论(1) 推荐(0) 编辑
摘要: 配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式,是Java属性文件格式。在相同的配置文件,可以指定一个或多个代理的配置。配置文件包括每个源,接收器和通道,把它们连接在一起,形成数据流。 配置单个组件 流中每个组件(源,接收器或通道)都有名称,类型,和一组特定实... 阅读全文
posted @ 2015-08-21 17:13 暗痛 阅读(6027) 评论(0) 推荐(0) 编辑
摘要: Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,当前最新版本1.3.3。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以... 阅读全文
posted @ 2015-08-21 15:55 暗痛 阅读(1696) 评论(0) 推荐(1) 编辑
摘要: flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 一、什么是Flume? flume 作为 cloudera 开发的实... 阅读全文
posted @ 2015-08-21 15:44 暗痛 阅读(4214) 评论(0) 推荐(0) 编辑
摘要: 一、环境说明实验环境OS CentOS5.4192.168.0.14 proxy192.168.0.24 web1192.168.0.64 web2官方地址:http://haproxy.1wt.eu/下载地址:http://haproxy.1wt.eu/download/1.4/src/hapro... 阅读全文
posted @ 2015-08-21 15:08 暗痛 阅读(907) 评论(0) 推荐(0) 编辑