随笔分类 -  Flume

摘要：背景 原本自己都是使用笔记本的虚拟机来搭建大数据环境，调试代码，运行项目。但自己的笔记本是13寸的，屏幕很小，经常由于要打开多个终端，同时辅以网页，造成小小的屏幕里有很多窗口，体验极差。 有想过通过外接大显示屏来解决，但显示屏固定连接了自己的游戏本。等于宿舍里操作游戏本，实验室操作台式机，平时背着轻 阅读全文

摘要：采集文件call.log的数据到kafka，并从kafka消费者控制台获取数据。 flume+kafka是目前大数据很经典的日志采集工具。文件数据通过flume采集，通过kafka进行订阅发布并缓存，很适合充当消息中间件。 准备工作 启动zookeeper,kafka集群 在kafka创建ct主题， 阅读全文

摘要：Flume概述 Flume是一个高可用、高可靠、分布式的海量日志数据采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 Flume（Agent，Java进程）主要由三个重要组件构成： source， 阅读全文