随笔分类 - hadoop
摘要：错误: java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clusterID
阅读全文
摘要：报如错误：JAVA_HOME is not set and could not be found，可能是因为JAVA_HOME环境没配置正确，还有一种情况是即使各结点都正确地配置了JAVA_HOME，但在集群环境下还是报该错误，解决方法是显示地重新声明一遍JAVA_HOME 1、检查JAVA_HOM
阅读全文
摘要：错误： 14/04/29 02:45:07 INFO mapreduce.Job: Job job_1398704073313_0021 failed with state FAILED due to: Application application_1398704073313_0021 faile
阅读全文
摘要：错误： org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for 原因： 两种可能，hadoop.tmp.dir或者data目录存储空间不足 解决办法： 看了
阅读全文
摘要：错误： org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt 原因： 错误很明显，磁盘空间不足，但郁闷的是，进各节点查看，磁盘空间使用不到40%，还有很多空间。 郁闷很长时间才发现，原来有个map任务运行时
阅读全文
摘要：错误： org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException: Spill failed 错误原因： 本地磁盘空间不足非hdfs (我是在myeclipse中调试程序，本地tmp目录占满) 解
阅读全文
摘要：报如下错误 解决方法: 方法一:(结果不起作用) 通过Shell命令方式，hadoop/bin/hdfs haadmin -failover --forceactive hadoop2 hadoop1(注意,这种方式本来是在手动故障恢复中进行强制切换NameNode的做法) 返回结果,不支持,并且诚
阅读全文
摘要：错误： java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try 原因： 无法写入；我的环境中
阅读全文
摘要：报如下错误： 解决方法： 1、增加调试信息 在HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中添加如下信息 2、再执行一次操作，看看报什么错误 上面信息显示，需要2.14的glibc库 解决方法： 1、查看系统的libc版本（ll /lib64/libc.so.6） 显
阅读全文
摘要：1、错误 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException: Spill failed2、原因 本地磁盘空间不足非h
阅读全文
摘要：错误： FATAL org.apache.hadoop.hdfs.server.namenode.NameNode Exception in namenode join java.io.IOException There appears to be a gap in the edit log 原因：
阅读全文
摘要：解决方法： 1、通过lsof -i:50070（lsof可以通过yum install lsof安装）查看，发现是mysql被占用了 2、修改mysql端口 从/usr/share/mysql/my-default.cnf复制成/etc/my.cnf文件；修改/etc/my.cnf文件，如下 如果，
阅读全文
摘要：原因： Ambari 每分钟会向datanode发送"ping"连接一下去确保datanode是正常工作的.否则它会触发alert。但是datanode并没有处理空内容的逻辑,所以直接异常了 解决办法： 这个可以忽略，或者使用 https://issues.apache.org/jira/brows
阅读全文
摘要：错误： DataXceiver error processing WRITE_BLOCK operation 原因： 文件操作超租期，实际上就是data stream操作过程中文件被删掉了。 解决办法： 修改hdfs-site.xml （针对2.x版本，1.x版本属性名应该是：dfs.datanod
阅读全文
摘要：错误： 10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live node
阅读全文
摘要：报如下错误 解决方法： 1、下载libsnappy.so.1（https://yunpan.cn/cSHRHTBJGVVX6 访问密码 c992） 2、上传到linux系统 3、安装 4、安装完成后，再去检查，效果如下 如果，您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】。 如果，您希
阅读全文
摘要：报如下错误 解决方法： 1、使用hadoop checknative –a命令检查，报如下错误 2、使用如下命令建立libcrypto.so文件的符号链接 如果，您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】。 如果，您希望更容易地发现我的新博客，不妨点击一下左下角的【关注我】。 如果
阅读全文
摘要：1、下载Zookeeper http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/ 2、创建/usr/app/zookeeper目录，并切换到该目录，如下所示 3、使用rz命令上传zookeeper-3.4.6.tar.gz 4、解压（ta
阅读全文
摘要：1、HBase概述 HBase是hadoop生态系统中的重要组成部分，是一个开源的、面向列、适合存储海量非结构化数据或半结构化数据，具备高可靠性、高性能、可灵活扩展伸缩、支持实时数据读写的分布式存储系统 存储在Hbase中的表的特征 1、大：一个表可以有上亿行，上百万列 2、任意模式：每行都有一个可
阅读全文
摘要：在hadoop2.6.0分布式集群上搭建hbase ha分布式集群。搭建hadoop2.6.0分布式集群，请参考“基于hadoop2.6.0搭建5个节点的分布式集群”。下面我们开始啦 1、规划 1、主机规划 Node Name Master Zookeeper RegionServer hadoop
阅读全文