摘要：Java对Hbase的各种操作都是通过HTable实现的，由于创建HTable是有消耗的，因此推荐只创建一个HTable的实例，如果必须使用多个HTable实例，可以使用HTablePool，本文不对HTablePool进行介绍。创建表：创建表是通过HBaseAdmin类实现的，通过HBaseAdmin 类主要是对于表的管理操作。 1 public static void createTable(String tableName, String[] cfs) throws IOException{ 2 HBaseAdmin admin = new HBaseAdmin(conf... 阅读全文

摘要：thrift 是facebook开发并开源的一个二进制通讯中间件，通过thrift，我们可以充分利用各个语言的优势，编写高效的代码。关于thrift的论文：http://pan.baidu.com/share/link?shareid=234128&uk=3238841275安装thrift：http://thrift.apache.org/docs/install/ubuntu/安装完成后到hbase的目录下，找到Hbase.thrift，该文件在hbase-0.94.4/src/main/resources/org/apache/hadoop/hbase/thrift下可以找到th 阅读全文

摘要：今天终于把MR处理Hbase的数据的程序搞定了，自己走了好多的弯路，程序写完之后，在本机的伪分布式的hadoop上跑是没问题的，可是把程序上传的集群上就出错了，最后发现是zookeeper没配对，在编译的时候没有把conf添加的CLASSPATH，这才导致出错的。 下面是MR测试的程序： 1 import java.io.IOException; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.hbase.HBaseConfiguration; 5 import org.apache... 阅读全文

摘要：ganglia简介： Ganglia是一个跨平台可扩展的，高 性能计算系统下的分布式监控系统，如集群和网格。它是基于分层设计，它使用广泛的技术，如XML数据代表，便携数据传输，RRDtool用于数据存储和可 视化。配置信息： ubuntu 12.04 x64 hadoop版本1.0.4首先需要安装ganglia，ubuntu下通过apt-get安装即可： sudo apt-get install ganglia-monitor ganglia-webfront gmetad安装完成后修改/etc/ganglia/gmond.conf文件将globals模块下的setuid=yes修改为... 阅读全文

摘要：服务器： nodea -----> master nodeb -----> slave nodec -----> slave 新建一个hadoop的账户 sudo useradd -d /home/hadoop -m hadoop -s /bin/bash sudo passwd hadoop 密码任意。 安装必要环境 jdk安装 sudo apt-get install sun-java6-jdk 安装完成后jdk位置为/usr/lib/jvm/java-6-sun 建立ssh免密码登录。 ssh-keygen -t rsa scp authorized_keys hado 阅读全文

摘要：首先要下载mongo-hadoop adapter git clone https://github.com/mongodb/mongo-hadoop.git git checkout release-1.0 然后进入mongo-hadoop目录，找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示： hadoopRelease in ThisBuild := "0.20" 然后运行 ./sbt package(关于sbt https://github.com/harrah/xsbt/wiki) 运行时需要FQ才行。 运行结束之后会 阅读全文