出发一路向北

摘要： 系统IO查看liunx# iostat -x 1 10Linux 2.6.18-92.el5xen 02/03/2009avg-cpu: %user %nice %system %iowait %steal %idle 1.10 0.00 4.82 39.54 0.07 54.46Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %utilsda 0.00 3.50 0.40 2.50 5.60 48.00 18.48 0.00 0.97 0.97 0.28sdb 0.00 0.00 0.00 0 阅读全文

摘要： 打开append功能需要修改hdfs-site的参数: <property> <name>dfs.support.append</name> <value>true</value> </property>修改该参数后,整个hadoop集群需要重新启动还有个另外的参数需要修改的,就是datanode支持的连接的个数: <property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </ 阅读全文

摘要： 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。2.浏览apache官网,三个配置文件链接如下: ht 阅读全文

摘要： 一：hadoop从0.20.2升级到1.0.4时，会提示“Warning:$HADOOP_HOME is deprated”。这个主要是hadoop-config.sh脚本引起的，只要把hadoop-env.sh里的HADOOP_HOME变量去掉；把/etc/profile里的HADOOP_HOME改为HADOOP_INSTALL即可。注意同步到所有datanode.二：升级时，请注意使用start-dfs.sh upgrade命令，通知hadoop升级。详情请查看这里：http://www.cnblogs.com/cloudma/articles/hadoop-upgrade.html三：h 阅读全文

摘要： 今天在我们的集群上升级了一下hive(从0.7.1升级到0.9.0)，可谓坎坷不平啊，主要是忽略了一点hive升级后，需要对数据结构同步升级，具体如下：１：需要有对应的hadoop版本(hive0.9.0对应hadoop1.x)。２：升级后，需执行hive/scripts/metastore/upgrade/目录下对应的脚本(mysql如：mysql/upgrade-0.7.0-to-0.8.0.mysql.sql)。３：注意导入相应的驱动放入lib目录(如：mysql-connector-java-5.1.11-bin.jar)。注：第二点尤为重要，否则会出现"ERROR exec 阅读全文

摘要： Linux_free（buffer与cache区别）一、free命令[root@xen_202_12 /]# free -m total used free shared buffers cachedMem: 3072 2459 612 0 207 1803-/+ buffers/cache: 447 2624Swap: 1913 0 1913第2行:total 内存总数: 3072used 已经使用的内存数: 2459free 空闲的内存数: 612shared 当前已经废弃不用，总是0buffers: Buffer Cache内存数: 13220cached: Page Cache内存数: 阅读全文

摘要： 操作系统：CentOS 5.4(64位)，Hadoop版本：hadoop-0.20.2安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖配置lzo的文件：core-site.xml、mapred-site.xml1:安装jdk并配置环境变量(64位)jdk安装这里就不详细介绍了。export JAVA_HOME=/usr/java/jdk1.6.0_21export PATH=$PATH:$JAVA_HOME/bin2.在集群的所有节点上安装Lzo库，下载地址(http://www.oberhumer.com/opensource/lzo/d 阅读全文

摘要： 启动hwi服务：./bin/hive --service hwi，报如下错误：12/07/22 18:25:29 INFO hwi.HWIServer: HWI is starting up12/07/22 18:25:29 FATAL hwi.HWIServer: HWI WAR file not found at ...解决该问题的最简单办法就是在conf/hive-site.xml里添加hive.hwi.war.file配置项，指定hwi*.war的位置(如：lib/hive-hwi-0.9.0.war)即可，HIVE_HOME环境变量可以不用设置的！hive查找hwi包的方法：hive 阅读全文

摘要： 1.运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份(在升级Hadoop前，如果已经存在备份，需要先结束 finalize 它。)2.备份dfs.namenode.dir下文件,同时要备份下hdfs的文件目录的元数据信息:bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log bin/hadoop dfsadmin -report > dfs- 阅读全文

摘要： MapReduce：分布式编程处理模型HDFS：分布式文件系统Zookeeper：分布式集群协商服务软件HBASE：类似BigTable，基于列存储非结构化数据Hive：数据仓库Pig：创建mapreduce程序的高级脚本语言Flume/Chukwa：日志收集系统Sqoop：关系数据库向HDFS的转移工具Avro：数据序列化系统AvatarNode：单namenode的备份解决方案Cassandra：分布式NoSQL数据库Hama基于块同步并行(Bulk sync parall)的科学计算、图形处理等复杂计算工具Mashout：机器学习Ganglia/Hue：监控Nagios告警Scribe日 阅读全文