随笔分类 -  Hadoop

摘要:下载hadoop的原生版本,版本选择2.6.0,下载地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 解压后可以看到 其中配置文件在 /etc/hadoop目录下 解压后默认的配置文件都 阅读全文
posted @ 2020-11-20 17:30 tonglin0325 阅读(411) 评论(0) 推荐(0) 编辑
摘要:OutputFormat在hadoop源码中是一个抽象类 public abstract class OutputFormat<K, V>,其定义了reduce任务的输出格式 https://github.com/apache/hadoop/blob/master/hadoop-mapreduce- 阅读全文
posted @ 2020-11-16 14:54 tonglin0325 阅读(259) 评论(0) 推荐(0) 编辑
摘要:InputFormat在hadoop源码中是一个抽象类 public abstract class InputFormat<K, V> https://github.com/apache/hadoop/blob/master/hadoop-mapreduce-project/hadoop-mapre 阅读全文
posted @ 2020-09-30 11:31 tonglin0325 阅读(411) 评论(0) 推荐(0) 编辑
摘要:1.查看hdfs文件的block信息 不正常的文件 hdfs fsck /logs/xxx/xxxx.gz.gz -files -blocks -locations Connecting to namenode via http://xxx-01:50070/fsck?ugi=xxx&files=1 阅读全文
posted @ 2019-07-15 11:51 tonglin0325 阅读(372) 评论(0) 推荐(0) 编辑
摘要:1.在IDEA下新建工程,选择from Mevan GroupId:WordCount ArtifactId:com.hadoop.1st Project name:WordCount 2.pom.xml文件 3.main/java目录下新建WordCount.java文件 4.在src同级目录下新 阅读全文
posted @ 2017-03-26 18:31 tonglin0325 阅读(218) 评论(0) 推荐(0) 编辑
摘要:sudo mv /home/common/下载/hadoop-2.7.2.tar.gz /usr/local sudo tar -xzvf hadoop-2.7.2.tar.gz sudo mv hadoop-2.7.2 hadoop #改个名 在etc/profile文件中添加 export HA 阅读全文
posted @ 2017-03-10 22:44 tonglin0325 阅读(346) 评论(0) 推荐(0) 编辑
摘要:fsimage和edit log,参考:查看hdfs的fsimage和editlog 浅谈HDFS的fsimage、edit log与SecondaryNameNode HDFS- High Availability 阅读全文
posted @ 2015-06-17 17:22 tonglin0325 阅读(357) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示