摘要： 在hive中创建表，出现如上问题，解决如下：1）把mysql的配置文件my.cnf中的[...]下面都配置上default-character-set=latin1,例如2）到mysql下面，把hive保存元数据的那个数据库，把里面全删了，重新启动hive 阅读全文

摘要： java.net.NoRouteToHostException: No route to host在hadoop集群中使用copyFromLocal命令的时候发生错误，识别不到datanode节点，重新初始化也没有用，此时删除临时文件夹下的所有文件，关闭iptables， /etc/init.d/iptables stop，再重新格式化，问题解决！ 阅读全文

摘要： 先装zookeeper，然后装hbase装hbase时要注意不但要在/etc/profile里面加入HBASE_HOME以及写入CLASSPATH之外，还要在hbase的安装目录下的conf/hbase-env.sh下写入环境变量还要把hbase安装目录下的几个jar包用hadoop安装目录下的jar包替换，以免版本问题启动hbase之前先要启动hadoop，然后启动zookeeper（在quorum里面的每台机器上都要启动bin/zkServer.sh start），然后在hbase根目录下bin/hbase-daemon.sh start master，接着bin/start-hbase. 阅读全文

摘要： 在写任务配置程序的时候job.setMapperClass(...)job.setReducerClass(...)自己写的mapper和reducer一定要继承Mapper类和Reducer类，不然出错，而且import的时候应该是org.apache.hadoop.mapreduce.Mapper,而不是mapred.Mapper 阅读全文

摘要： 在eclipse里面写程序运行时，出现了这样的错误，hadoop java.io.ioexception:cannot open filename /user/...弄了半天，还查看了日志文件，可能是1）输入文件名写错了2）把hadoop.temp.dir下全删了，datanode的也是，然后重新格式化重启hadoop3）在安全模式，等待自动停止或手动停止安全模式 阅读全文

摘要： 在浏览hdfs上面的文件的时候，要在hadoop的安装目录下[hadoop@master hadoop-0.20.2]$bin/hadoop fs -ls进行查看，但是想要删除hdfs里面的文件，路径就需要是hdfs的专属路径，因为hdfs的文件路径和linux的本地路径是完全两套系统例如想删除file01文件[hadoop@master hadoop-0.20.2]$bin/hadoop fs -rmr hdfs://master:54310/user/hadoop/file01或[hadoop@master hadoop-0.20.2]$bin/hadoop fs -rmr /user/h 阅读全文

摘要： 今天在hadoop集群的master上面用eclipse写了一个类，运行，发现出了这个错误。因为eclipse的jvm的内存设置偏小首先我在hadoop安装目录下conf/hadoop-env.sh文件进行如下修改增加export HADOOP_HEAPSIZE=1000但是也可能是单个程序的jvm过小，要修改单个程序的jvm大小，在eclipse里面在要运行的类上单击右键，选择run configuration然后在VMarguments:的地方写-Xmx512m然后运行就可以了 阅读全文

摘要： 在master主节点机器上，/home/hadoop/hadoop安装文件夹下，输入bin/hadoop dfsadmin -report查看集群启动情况，发现datanode根本没有起起来，或者格式化所有节点的时候，根本不successful首先检查各个xml配置文件是否正确写入，jdk环境变量是否写了，ssh是否通，也可能提示你core-site.xml文件里面有错误，xml文件里第一行不能是空行，如果是自己写的很有可能是最上面两行之间有空行，或者全角字符，这时就从master主机中把同样的文件用scp命令传到slave主机，覆盖掉原来的文件即可以上操作都是在bin/stop-all.sh 阅读全文

摘要： 在配置hadoop集群的时候，需要在master主机和slave主机之间进行无密钥通信，我的两个机器上的用户名都是hadoop，通信是在两台机器的hadoop用户之间通信，而不是root用户。先查看在两台机器上/home/hadoop下有没有.ssh文件夹，这是一个隐藏文件夹，用命令ls -a查看，如果没有，需要mkdir -p .ssh新建分别在两台机器上的hadoop用户下输入命令ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 这个命令会在.ssh文件夹下生成两个文件，id_dsa和id_dsa.pub,分别是一个私钥和一个公钥输入命令ca 阅读全文

摘要： 今天在linux下查看进程，使用命令jps，可是却提示找不到命令，这条命令是在jdk下的bin目录下的一个可执行文件，我查看了一下我的jdk目录，发现有jps可执行文件，但是只是没有放在环境变量里面而已，环境变量可以通过etho $PATH命令查看。所以就要自己加上去，以root身份vi /etc/profile，然后在下面加一行export PATH="usr/java/jdk160_05/bin:$PATH",其中橘色的部分是你把jdk安装在哪的路径和jdk文件夹名称。保存退出。然后source /etc/profile就可以，没报错就说明是成功了，再执行jps就看到了 阅读全文