摘要：1.首先配置$HADOOP_HOME下的conf/hadoop-env.sh文件，修改其中的HADOOP_CLASSPATH为如下export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/hadoop/hbase-0.90.3.jar:/hadoop/hbase/hbase-0.90.3-tests.jar:/hadoop/hbase/conf:/hadoop/hbase/lib/guava-r06.jar:/hadoop/hbase/lib/zookeeper-3.3.2.jar2.配置$HBASE_HOME下的conf/hbase-env.sh文件，修改其中的H
阅读全文
摘要：刚使用kettle不久，由于我们在kettle程序中使用了hive的驱动，因此在kitchen.sh中增加了hive驱动的一行classpath。写的脚本使用kitchen执行我们的job没有任何问题。但是用crontab做计划任务部署上去的时候，发现执行不了了，报错信息是找不到hive驱动。经过排查，基本确定问题出在classpath上，但是无论是在脚本里面 把classpath补全还是在crontab中把classpath都没有解决问题。不经意查看kitchen.sh的时候，发现如下两行BASEDIR=`dirname $0`CLASSPATH=$BASEDIR才知道原来kitchen的c
阅读全文
摘要：Ganglia是一个监控服务器，集群的开源软件，能够用曲线图表现最近一个小时，最近一天，最近一周，最近一月，最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标。Ganglia的强大在于：ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据，ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据。这个体系设计表示一台服务器能够通过不同的分层能够管理上万台机器。这个功能是其他mrtg,nagios,cacti所不能比拟。因为hadoop的支持问题，我们推荐安装ganglia3.0.3。操作系统环境：CentOS5.2集群环境:namenode 192.
阅读全文
