2022年6月12日
flume 读目录下文件 ,同步到kafka
摘要： 启动和配置flume Agent 是一个 JVM 进程，它以事件（Event）的形式将数据从源头（Source）通过渠道（Channel）送至目标端（Sink）。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 # 目录->kafka a1.sources = s1 a 阅读全文
posted @ 2022-06-12 22:51 赵钱富贵 阅读(195) 评论(0) 推荐(0) 编辑
centos7安装kafka
摘要： 启动和配置kafka #0 依赖zookeeper #1. 解压包 tar zxvf kafka_2.12-2.8.0.tgz # 2、修改配置 vim kafka_2.12-2.8.0/config/server.properties broker.id=0 listeners=PLAINTEXT 阅读全文
posted @ 2022-06-12 21:39 赵钱富贵 阅读(120) 评论(0) 推荐(0) 编辑
hadoop全家桶
摘要： hadoop全家桶 hadoop hdfs :hadoop分布式文件系统 mapReduce : 计算框架 yarn 资源调度 hive OLAP、数仓、SQL 数据仓库，提供hive-sql 管理-查询数据 本身不存储和计算数据，默认使用hadoop.mapReduce 作为计算框架，hdfs作为 阅读全文
posted @ 2022-06-12 18:42 赵钱富贵 阅读(305) 评论(0) 推荐(0) 编辑