hadoop:ls: `.': No such file or directory
摘要：hadoop fs -ls，添加路径 hadoop fs -ls /
阅读全文
posted @ 2017-06-30 16:31
文章分类 - Hadoop 异常
hive hql命令 drop cascade 强制删除含有表的数据库
摘要：删除一个数据库，默认情况下，hive不允许删除含有表的数据库，要先将数据库中的表清空才能drop，否则会报错 hive> drop database users; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.q
阅读全文
posted @ 2016-05-21 17:04
MR on HBase - java.io.IOException: Pass a Delete or a Put
摘要：重写的方法上加@Override
阅读全文
posted @ 2016-05-18 15:44
HBase .META. Region启动不成功(我用的这个方法)
摘要：1/ 集群各个节点时间不一致( ) 2/勇敢的删除的log（/hbase/.log） 启动region server的时候报如下错误: 2013-09-09 11:23:05,863 DEBUG org.apache.hadoop.hbase.regionserver.HRegionServer:
阅读全文
posted @ 2016-03-19 19:43
zookeeper崩溃后修复
摘要：可能出现该问题的情况：强制关机，数据量过大，集群意外关闭。 使用cloudera搭建hadoop集群，由于使用ubuntu系统，根目录空间分配不足，导致数据录入一部分，集群崩溃，后来对ubuntu系统的根目录进行设置，扩大了根目录的空间，但是zookeeper中一台机器的节点一直无法启动。 错误日志
阅读全文
posted @ 2016-03-19 13:44
hadoop执行stop-all.sh的时候总是出现 “no namenode to stop”
摘要：目前的解决的办法 1、先把服务都停掉 $ bin/stop-all.sh 2、格式化namenode $ bin/hadoop namenode -format 3、重新启动所有服务 $ bin/start-dfs.sh 4、可以进行正常操作了 原因还不明白，学习中。。。 问题是出在我每次start
阅读全文
posted @ 2016-03-19 13:36
hadoop异常“could only be replicated to 0 nodes, instead of 1” 解决
摘要：异常分析 1、“could only be replicated to 0 nodes, instead of 1”异常 （1）异常描述 上面配置都正确无误，并且，已经完成了如下运行步骤： [root@localhost hadoop-0.20.0]# bin/hadoop namenode -fo
阅读全文
posted @ 2016-03-19 13:25
Hbase table exsits
摘要：手动删除 dataDir 目录下的version-2 文件夹 以及 <property> <name>hadoop.tmp.dir</name> <value>/home/cristo/tmpdata</value> </property> <name>dfs.name.dir</name><val
阅读全文
posted @ 2016-03-18 11:28
HBase 增量备份和还原工具
摘要：HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。 下面设增量备份的python脚本 在这个脚本中，每天做增量备份，每个月15日做全备份。 而Restore机制就更加简单 hbase org.apache.hadoop.hbase.mapr
阅读全文
posted @ 2016-03-18 11:04
关于Hbase Table already exists的处理方法~！
摘要：最近测试Hadoop和Hbase集群，一次断电之后，Hbase无法正常启动，经过一系列配置之后，终于使得Hbase重新启动，但是却出现了新的问题，新建表时，总是提示Table already exists，很是郁闷，不知道什么原因，虽说以前建过同名的表，可是HDFS上和Hbase相关的东西都已经删除
阅读全文
posted @ 2016-03-18 10:07
org.apache.hadoop.hbase.TableNotFoundException: Cannot find row in .META. for table: userinfo, row=userinfo,,99999999999999
摘要：删除 hdfs://hbase/.logs,然后重新启动
阅读全文
posted @ 2016-03-17 22:30
File /home/cristo/tmpdata/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
摘要：DFSClient_NONMAPREDUCE_680877557_1, null) from 192.168.1.100:52645: error: java.io.IOException: File /home/cristo/tmpdata/mapred/system/jobtracker.inf
阅读全文
posted @ 2016-03-17 22:26
机器重启hadoop报错：FSNamesystem initialization failed
摘要：问题 在使用Hadoop开发初期的时候遇到一个问题。 每次重启系统后发现不能正常运行hadoop。必须执行 bin/hadoop namenode -format 进行格式化才能成功运行hadoop，但是也就意味着以前记录的name等数据丢失。 查询日志发现错误： 3.原因 后查询文档时发现， 在l
阅读全文
posted @ 2016-03-17 21:17
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
摘要：没有启动hadoop节点造成的，转到hadoop bin下执行start-all.sh。问题解决。
阅读全文
posted @ 2016-03-17 20:32
