2017年10月18日
IDEA Spark Streaming Flume数据源 --解决无法转化为实际输入数据，及中文乱码(Scala)
摘要： 需要三步： 1.shell：往 1234 端口写数据 nc localhost 1234 2.shell： 启动flume服务 cd /usr/local2/flume/bin ./flume-ng agent --conf /usr/local2/flume/conf -f /usr/local2 阅读全文
posted @ 2017-10-18 20:13 soyosuyang 阅读(768) 评论(0) 推荐(0) 编辑
Flume Netcat Source
摘要： 1.cd /usr/local2/flume/conf sudo vim netcat.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configu 阅读全文
posted @ 2017-10-18 15:19 soyosuyang 阅读(339) 评论(0) 推荐(0) 编辑
Flume Avor Source
摘要： 1.cd /usr/local2/flume/conf sudo vim avro.conf: 保留这个shell 测试文件： cd /usr/local2/flume vim soyo.txt 再开一个shell：./flume-ng avro-client --conf conf -H loca 阅读全文
posted @ 2017-10-18 15:09 soyosuyang 阅读(343) 评论(0) 推荐(0) 编辑
ubuntu16.04 Flume 安装
摘要： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume主要由3个重要的组件构成： Source:完成对日志 阅读全文
posted @ 2017-10-18 14:59 soyosuyang 阅读(1359) 评论(0) 推荐(0) 编辑