Spark的Streaming + Flume进行数据采集（flume主动推送或者Spark Stream主动拉取）
摘要：1、针对国外的开源技术，还是学会看国外的英文说明来的直接，迅速，这里简单贴一下如何看： 2、进入到flume的conf目录，创建一个flume-spark-push.sh的文件： [hadoop@slaver1 conf]$ vim flume-spark-push.sh 配置一下这个文件，flum
阅读全文
posted @
2018-04-24 10:53
别先生
阅读(2611)
推荐(0) 编辑
日志采集框架Flume以及Flume的安装部署（一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统）
摘要：Flume支持众多的source和sink类型，详细手册可参考官方文档，更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flume官网入门指南： 1：Flume的概述和介绍： （1）：Flume是一个分布式、可靠、和高可用的海量
阅读全文
posted @
2017-12-13 13:19
别先生
阅读(9092)
推荐(0) 编辑
