2021年11月23日
flume到hdfs和kafka
摘要： 注意：需要将hadoop的相关jar包复制到flume下面 1. flume-conf.properties的配置 a1.sources = r1 a1.sinks = k1 sink-hdfs a1.channels = c1 chn-hdfs #tail -F 注意exec只适合测试，可以使用T 阅读全文
posted @ 2021-11-23 17:22 jason47 阅读(152) 评论(0) 推荐(0) 编辑
flume sink到hdfs需要hadoop相关jar包，否则启动报错
摘要： 1. NoClassDefFoundError报错 Failed to start agent because dependencies were not found in classpath. Error follows. java.lang.NoClassDefFoundError: org/a 阅读全文
posted @ 2021-11-23 16:41 jason47 阅读(486) 评论(0) 推荐(1) 编辑
hadoop安装
摘要： 1.下载解压：hadoop-2.7.7.tar 2.修改配置文件etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/java/latest 3.尝试命令 $ bin/hadoop 4.伪分布式配置 etc/hadoop/core-site.xml: <con 阅读全文
posted @ 2021-11-23 16:33 jason47 阅读(20) 评论(0) 推荐(0) 编辑