随笔分类 - HBase

用java查询HBase中某表的一批数据

摘要：java代码如下：package db.query;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;imp... 阅读全文

posted @ 2015-12-08 20:18 ~风轻云淡~ 阅读(7326) 评论(0) 推荐(0) 编辑

hbase数据模型以及编码压缩（转）

摘要：原文链接：hbase源码系列（四）数据模型-表定义和列族定义的具体含义hbase是一个KeyValue型的数据库，在《hbase实战》描述它的逻辑模型【行键，列族，列限定符，时间版本】，物理模型是基于列族的。但实际情况是啥？还是上点代码吧。 HTableDescriptor tableDes... 阅读全文

posted @ 2015-12-02 19:53 ~风轻云淡~ 阅读(2287) 评论(0) 推荐(0) 编辑

应用Flume+HBase采集和存储日志数据

摘要：1. 在本方案中，我们要将数据存储到HBase中，所以使用flume中提供的hbase sink，同时，为了清洗转换日志数据，我们实现自己的AsyncHbaseEventSerializer。package com.ncc.dlut;import java.io.UnsupportedEncodin... 阅读全文

posted @ 2015-12-01 18:48 ~风轻云淡~ 阅读(2319) 评论(0) 推荐(0) 编辑

HBase性能调优（转）

摘要：原文链接：http://www.blogjava.net/ivanwan/archive/2011/06/15/352350.html因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如... 阅读全文

posted @ 2015-11-30 21:11 ~风轻云淡~ 阅读(697) 评论(0) 推荐(0) 编辑

开启hadoop和Hbase集群的lzo压缩功能（转）

摘要：原文链接：开启hadoop和Hbase集群的lzo压缩功能问题导读：1.如何启动hadoop、hbase集群的压缩功能？2.lzo的作用是什么？3.hadoop配置文件需要做哪些修改？首先我们明白一个概念：LZO 是致力于解压速度的一种数据压缩算法，LZO 是 Lempel-Ziv-Oberhum... 阅读全文

posted @ 2015-11-30 16:23 ~风轻云淡~ 阅读(765) 评论(0) 推荐(0) 编辑

HBase性能优化方法总结（转）

摘要：原文链接：HBase性能优化方法总结（一）：表的设计本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating ... 阅读全文

posted @ 2015-11-30 09:12 ~风轻云淡~ 阅读(420) 评论(0) 推荐(1) 编辑

用Spark查询HBase中的表数据

摘要：java代码如下：package db.query;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.conf.Configurati... 阅读全文

posted @ 2015-11-28 11:20 ~风轻云淡~ 阅读(6554) 评论(0) 推荐(1) 编辑

用Spark向HBase中插入数据

摘要：java代码如下：package db.insert;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.spark.SparkConf;import org.apache.spark.api.ja... 阅读全文

posted @ 2015-11-28 11:17 ~风轻云淡~ 阅读(1371) 评论(0) 推荐(0) 编辑

用Java操纵HBase数据库（新建表，插入，删除，查找）

摘要：java代码如下：package db.insert;/* * 创建一个students表,并进行相关操作 */import java.io.IOException;import java.io.Serializable;import java.util.ArrayList;import java.... 阅读全文

posted @ 2015-11-28 11:12 ~风轻云淡~ 阅读(1260) 评论(0) 推荐(0) 编辑

HBase入门基础教程之单机模式与伪分布式模式安装（转）

摘要：原文链接：HBase入门基础教程在本篇文章中，我们将介绍Hbase的单机模式安装与伪分布式的安装方式，以及通过浏览器查看Hbase的用户界面。搭建HBase伪分布式环境的前提是我们已经搭建好了Hadoop完全分布式环境，搭建Hadoop环境请参考：【Hadoop入门基础教程】4、Hadoop之完全分... 阅读全文

posted @ 2015-11-25 15:31 ~风轻云淡~ 阅读(422) 评论(0) 推荐(0) 编辑

java操作Hbase实例

摘要：所用HBase版本为1.1.2，hadoop版本为2.4/* * 创建一个students表,并进行相关操作 */import java.io.IOException;import java.util.ArrayList;import java.util.List; import org.apach... 阅读全文

posted @ 2015-11-25 09:57 ~风轻云淡~ 阅读(2375) 评论(1) 推荐(0) 编辑

HBase介绍及简易安装（转）

摘要：原文链接：HBase介绍及简易安装HBase简介HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据，更具体地说仅用普通的硬件配置，能够处理成千上万的行和列所组成的大型数据库。HBa... 阅读全文

posted @ 2015-11-24 20:41 ~风轻云淡~ 阅读(263) 评论(0) 推荐(0) 编辑