2018年9月23日
flume通过avro对接（汇总数据）
摘要： 使用场景： 把多台服务器(flume generator)上面的日志汇总到一台或者几台服务器上面（flume collector），然后对接到kafka或者HDFS上 Flume Collector服务端 vim flume-server.properties 启动： Flume Generator 阅读全文
posted @ 2018-09-23 18:13 wang_zai 阅读(5074) 评论(0) 推荐(0) 编辑
Flume同时输出数据到HDFS和kafka
摘要： cd /usr/local/flume/conf vim flume-exec-total.conf 验证： 1. 首先启动HDFS和kafka 2. 创建topic 启动flume以及测试 3. 启动Flume 4. 启动kafka客户端 结果如图： Flume服务端： HDFS： Kafka客户 阅读全文
posted @ 2018-09-23 17:18 wang_zai 阅读(1461) 评论(0) 推荐(0) 编辑
Flume环境安装
摘要： 源码包下载： 集群环境： 下载安装包： Flume配置: #Netcat cd /usr/local/flume/conf vim flume-netcat.conf 验证： 结果如图： #Exec cd /usr/local/flume/conf vim flume-exec.conf 验证： 结 阅读全文
posted @ 2018-09-23 14:08 wang_zai 阅读(223) 评论(0) 推荐(0) 编辑
kafka环境安装
摘要： 源码包下载： http://archive.apache.org/dist/kafka/1.0.0/ 集群环境： master 192.168.1.99 slave1 192.168.1.100 slave2 192.168.1.101 下载安装包： # Master wget http://arc 阅读全文
posted @ 2018-09-23 11:07 wang_zai 阅读(696) 评论(0) 推荐(0) 编辑
spark环境安装
摘要： 源码包下载： 集群环境： 下载安装包： 修改配置文件： vim slaves 配置环境变量： #Master slave1 slave2 拷贝安装包： 启动集群： 集群状态： #Master #slave1 #slave2 监控网页： http://master:8080 验证： #本地模式 run 阅读全文
posted @ 2018-09-23 10:40 wang_zai 阅读(220) 评论(0) 推荐(0) 编辑