摘要:
今日无所事事,Hadoop好难 阅读全文
摘要:
dir-hdfs.conf: #spooldir:flume中自带的读取目录的source,只要出现新文件就会被读走 #定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 # 配置source组件 ag1 阅读全文
摘要:
感想: 首先,十分感谢学校给我们参加比赛的机会,给予我们这次难能可贵的学习机会,第一次在这么大型的赛场中展现自己,我们也不免有些紧张。从最开始在线上进行模型训练,到我们不远千里在江苏进行场地的勘察,到后面的一遍又一遍的模型的选择和调试,我们都尽了自己最大的努力。 这次线下比赛,我们三个人分工合作互相 阅读全文
摘要:
关于flume使用SpoolDir监控目录传入文件时报出java.nio.charset.MalformedInputException: Input length = 1,个人解决方案_知识的搬运工 阅读全文
摘要:
Hive启动报错:java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument - 狗子的进阶史 - 博客园 补充:如果hadoop的版本是3.x.x,尽量用高版本的hive,否则会报Unrecogni 阅读全文
摘要:
本次分区是采用项目垃圾分类的csv文件,按照小于4的分为一个文件,大于等于4的分为一个文件 源代码: PartitionMapper.java: package cn.idcast.partition; import org.apache.hadoop.io.LongWritable; import 阅读全文
摘要:
源代码: WordCountMapper.java: package cn.idcast.mapreduce; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache. 阅读全文
摘要:
源代码: pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in 阅读全文
摘要:
zookeeper启动报错:already running as process xxx: zookeeper启动报错:already running as process xxx_荒野雄兵的专栏 阅读全文
摘要:
备忘录:Hadoop Shell命令 (apache.org) 阅读全文