2021年3月17日
Flume—(2)实时读取本地文件到HDFS
摘要： 1）案例需求 实时监控Hive日志，并上传到HDFS在。 2）需求分析 3）实现步骤： 1.Flume要想将数据输出到HDFS，必须持有Hadoop相关的jar包 将commons-configuration-1.6、commons-io-2.4、hadoop-auth-2.9.0、hadoop-c 阅读全文
posted @ 2021-03-17 21:03 cqyyck 阅读(316) 评论(0) 推荐(0) 编辑
Hive—开启日志
摘要： 一、配置文件 1、重命名配置文件 把/opt/module/hive-1.2.2/conf/hive-log4j.properties.template重命名为hive-log4j.properties [ck@hadoop102 conf]$ cp hive-log4j.properties.te 阅读全文
posted @ 2021-03-17 13:38 cqyyck 阅读(518) 评论(0) 推荐(0) 编辑
Flume—(1)监控本机端口数据
摘要： 1. 案列需求 首先，Flume监控本机44444端口，然后通过Telnet工具向44444端口发送消息，最后Flume将监听的数据实时显示在控制台。 2. 需求分析 Dflume 动态修改参数。 3.实现步骤： 1）. 安装Telnet工具 a．检测telnet-server的rpm包是否安装 [ 阅读全文
posted @ 2021-03-17 10:11 cqyyck 阅读(461) 评论(0) 推荐(0) 编辑