摘要: 一、准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装 阅读全文
posted @ 2017-05-09 11:04 tiantian2012 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 一、简介: 根据上面的定义,我们模拟如下的流程:(arvo,一种网络字节流传输规范) 二、从tail命令获取数据发送到avro端口(mini1机器)另一个节点可配置一个avro源来中继数据,发送外部存储 tail-avro.conf: 三、从avro端口接收数据,下沉到logger(mini02机器 阅读全文
posted @ 2017-05-08 16:54 tiantian2012 阅读(333) 评论(0) 推荐(0) 编辑
摘要: 一、日志采集:从网络端口接收数据,下沉到logger 文件netcat-logger.conf: 启动命令:#告诉flum启动一个agent,指定配置参数, --name:agent的名字,flume-ng agent --conf conf --conf-file conf/netcat-logg 阅读全文
posted @ 2017-05-08 14:52 tiantian2012 阅读(1666) 评论(0) 推荐(0) 编辑