2012年11月7日
hadoop的LZO压缩算法配置详解
摘要： 操作系统：CentOS 5.4(64位)，Hadoop版本：hadoop-0.20.2安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖配置lzo的文件：core-site.xml、mapred-site.xml1:安装jdk并配置环境变量(64位)jdk安装这里就不详细介绍了。export JAVA_HOME=/usr/java/jdk1.6.0_21export PATH=$PATH:$JAVA_HOME/bin2.在集群的所有节点上安装Lzo库，下载地址(http://www.oberhumer.com/opensource/lzo/d 阅读全文
posted @ 2012-11-07 19:16 出发一路向北 阅读(1533) 评论(0) 推荐(0) 编辑
hive hwi服务启动时找不到hwi*.war包的解决办法
摘要： 启动hwi服务：./bin/hive --service hwi，报如下错误：12/07/22 18:25:29 INFO hwi.HWIServer: HWI is starting up12/07/22 18:25:29 FATAL hwi.HWIServer: HWI WAR file not found at ...解决该问题的最简单办法就是在conf/hive-site.xml里添加hive.hwi.war.file配置项，指定hwi*.war的位置(如：lib/hive-hwi-0.9.0.war)即可，HIVE_HOME环境变量可以不用设置的！hive查找hwi包的方法：hive 阅读全文
posted @ 2012-11-07 17:30 出发一路向北 阅读(521) 评论(0) 推荐(0) 编辑
hadoop升级
摘要： 1.运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份(在升级Hadoop前，如果已经存在备份，需要先结束 finalize 它。)2.备份dfs.namenode.dir下文件,同时要备份下hdfs的文件目录的元数据信息:bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log bin/hadoop dfsadmin -report > dfs- 阅读全文
posted @ 2012-11-07 16:43 出发一路向北 阅读(303) 评论(0) 推荐(0) 编辑