上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 28 下一页
摘要: 今日无所事事,Hadoop好难 阅读全文
posted @ 2021-10-20 22:50 睡觉不困 阅读(11) 评论(0) 推荐(0) 编辑
摘要: dir-hdfs.conf: #spooldir:flume中自带的读取目录的source,只要出现新文件就会被读走 #定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 # 配置source组件 ag1 阅读全文
posted @ 2021-10-19 22:15 睡觉不困 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 感想: 首先,十分感谢学校给我们参加比赛的机会,给予我们这次难能可贵的学习机会,第一次在这么大型的赛场中展现自己,我们也不免有些紧张。从最开始在线上进行模型训练,到我们不远千里在江苏进行场地的勘察,到后面的一遍又一遍的模型的选择和调试,我们都尽了自己最大的努力。 这次线下比赛,我们三个人分工合作互相 阅读全文
posted @ 2021-10-18 21:11 睡觉不困 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 关于flume使用SpoolDir监控目录传入文件时报出java.nio.charset.MalformedInputException: Input length = 1,个人解决方案_知识的搬运工 阅读全文
posted @ 2021-10-17 21:01 睡觉不困 阅读(71) 评论(0) 推荐(0) 编辑
摘要: Hive启动报错:java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument - 狗子的进阶史 - 博客园 补充:如果hadoop的版本是3.x.x,尽量用高版本的hive,否则会报Unrecogni 阅读全文
posted @ 2021-10-16 21:02 睡觉不困 阅读(100) 评论(0) 推荐(0) 编辑
摘要: 本次分区是采用项目垃圾分类的csv文件,按照小于4的分为一个文件,大于等于4的分为一个文件 源代码: PartitionMapper.java: package cn.idcast.partition; import org.apache.hadoop.io.LongWritable; import 阅读全文
posted @ 2021-10-15 15:49 睡觉不困 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 源代码: WordCountMapper.java: package cn.idcast.mapreduce; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache. 阅读全文
posted @ 2021-10-14 23:41 睡觉不困 阅读(61) 评论(0) 推荐(0) 编辑
摘要: 源代码: pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in 阅读全文
posted @ 2021-10-13 22:48 睡觉不困 阅读(143) 评论(0) 推荐(0) 编辑
摘要: zookeeper启动报错:already running as process xxx: zookeeper启动报错:already running as process xxx_荒野雄兵的专栏 阅读全文
posted @ 2021-10-12 20:53 睡觉不困 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 备忘录:Hadoop Shell命令 (apache.org) 阅读全文
posted @ 2021-10-11 20:46 睡觉不困 阅读(12) 评论(0) 推荐(0) 编辑
上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 28 下一页