Phoenix整合Hbase,用SQL来操作Hbase

1.简介

Phoenix是一个HBase框架，可以通过SQL的方式来操作HBase。

Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，能够让用户使用标准的JDBC来操作HBase。

Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner，且并行执行生成标准的JDBC结果集。

 

*如果需要对HBase进行复杂的操作，那么应该使用Phoenix，其会将SQL语句转换成HBase相应的API。

*Phoenix只能用在HBase上，其查询性能要远高于Hive。

 

2.Phoenix与HBase的关系

 

Phoenix与HBase中的表是独立的，两者之间没有必然的关系。

Phoenix与HBase集成后会创建8张系统表：SYSTEM.CATALOG、SYSTEM.CHILD_LINK、SYSTEM.FUNCTION、SYSTEM.LOG、SYSTEM.MUTEX、SYSTEM.SEQUENCE、SYSTEM.STATS、SYSTEM.TASK，其中SYSTEM.CATALOG表用于存放Phoenix创建表时的元数据。

Phoenix创建表时会自动调用HBase客户端创建相应的表，并且在SYSTEM.CATALOG系统表中记录Phoenix创建表时的元数据，其主键的值对应HBase的RowKey，非主键的列对应HBase的Column（列族不指定时为0，且列会进行编码）

如果是通过Phoenix创建的表，那么必须通过Phoenix客户端来对表进行操作，因为通过Phoenix创建的表其非主键的列会进行编码。

 

3.Phoenix语法

Phoenix的SQL中如果表名、字段名不使用双引号标注那么默认转换成大写。

Phoenix中的字符串使用单引号进行标注。 

 

创建表：

CREATE TABLE IF NOT EXISTS user (

    id varchar PRIMARY KEY,

    name varchar,

    age integer

);

 

查看：

!tables

 

 

插入/更新数据:

UPSERT INTO user VALUES ('1001', 'zhangsan', 18);

UPSERT INTO user(id,name,age) VALUES ('1002', 'lisi', 20);

如果主键的值重复，那么进行更新操作，否则插入一条新的记录（在进行更新时，没有更新的列保持原值，在进行插入时，没有插入的列为null）

在使用UPSERT时，主键的列不能为空（包括联合主键）

 

查询数据:

SELECT * FROM user;

在进行查询时，支持ORDER BY、GROUP BY、LIMIT、JOIN等操作，同时Phoenix提供了一系列的函数，其中包括COUNT()、MAX()、MIN()、SUM()等，具体的函数列表可以查看：http://phoenix.apache.org/language/functions.html

不管条件中的列是否是联合主键中的，Phoenix一样可以支持。

 

删除表

DROP TABLE user;

 

退出客户端

!q

hbase中也可以看到这个USER表和数据

 

4.Phoenix映射HBase 

直接通过HBase客户端创建的表，若想用Phoenix来进行增、删、改操作，那么必须要进行表的映射，因为SYSTEM.CATALOG表中并没有维护Phoenix创建表的元数据，如果只是进行查询操作，只要用phoenix

来创建映射表即可。

创建表来进行表的映射

CREATE TABLE IF NOT EXISTS 表名(

  列名 类型 主键,

  列簇.列名,

  列簇.列名

)

 

HBase中的RowKey映射Phoenix的主键，HBase中的Column映射Phoenix的列，且使用列簇名.列名进行映射。

相当于在SYSTEM.CATALOG表中录入相关的元数据，使Phoenix能够进行操作它。

创建视图来进行表的映射

CREATE VIEW 视图名(

  列名 类型 主键,

  列簇.列名,

  列簇.列名

)

Phoenix中的视图只能进行查询，不能进行添加、更新、删除操作。

 

5.Phoenix优化

1.服务端配置优化

往HBase安装目录下的conf目录下的hbase-site.xml文件中添加配置。

 

2.对表中的数据进行分区

 

哈希取模

通过在创建表时指定SALE_BUCKETS来实现将表中的数据预分割到多个Region中，有利于提高读取数据的性能。

其原理是将RowKey进行散列，把得到的余数的byte值插入到RowKey的第一个字节中，并通过预定义每个Region的Start Key和End Key，将数据分散存储到不同的Region中。

CREATE TABLE IF NOT EXISTS us_population (

      state CHAR(2) NOT NULL,

      city VARCHAR NOT NULL,

      population BIGINT

      CONSTRAINT my_pk PRIMARY KEY (state, city)

)SALT_BUCKETS=16;

通过SALE_BUCKETS设置哈希函数的除数P（除留余数法）

 

根据值来进行预分区

在创建表时，可以精确的指定RowKey根据什么值来进行预分区，不同的值存储在独立的Region中，有利于提高读取数据的性能。

CREATE TABLE IF NOT EXISTS us_population (

      state CHAR(2) NOT NULL,

      city VARCHAR NOT NULL,

      population BIGINT

      CONSTRAINT my_pk PRIMARY KEY (state, city)

)SPLIT ON('CS','EU','NA');

 

3.创建表时指定列簇

在HBase中每个列簇对应一个文件，如果要查询的列其列簇下只有它自己，那么将极大的提高读取数据的性能。

CREATE TABLE IF NOT EXISTS us_population (

      state CHAR(2) NOT NULL,

      city VARCHAR NOT NULL,

      C1.population BIGINT

      CONSTRAINT my_pk PRIMARY KEY (state, city)

);

列族只能在非主键列中进行指定。

4.对表进行压缩

在创建表时可以指定表的压缩方式，能极大的提高数据的读写效率。

CREATE TABLE IF NOT EXISTS us_population (

      state CHAR(2) NOT NULL,

      city VARCHAR NOT NULL,

      population BIGINT

      CONSTRAINT my_pk PRIMARY KEY (state, city)

)COMPRESSION='GZ';

可选的压缩方式包括GZip、Snappy、Lzo等。

 

5.使用二级索引

在HBase中会自动为RowKey添加索引，因此在通过RowKey查询数据时效率会很高，但是如果要根据其他列来进行组合查询，那么查询的性能就很低下，此时可以使用Phoenix提供的二级索引，能够极大的提高查询数据的性能。

创建普通索引

CREATE INDEX 索引名称 ON 表名(列名)

创建二级索引

CREATE INDEX 索引名称 ON 表名(列名) INCLUDE(列名)

 

6.Phoenix的搭建

操作步骤,搭建用的是hadoop用户操作。

1.下载

phoenix与hbase版本对应:http://phoenix.apache.org/download.html
phoenix下载地址:http://www.apache.org/dist/phoenix/
phoenix安装文档:http://phoenix.apache.org/installation.html

安装phoenix(版本与hbase对应)

# 因为hbase版本为1.3.0，这里下载：apache-phoenix-4.15.0-HBase-1.3-bin.tar.gz 

 

cd /home/hadoop

 

tar -zxvf apache-phoenix-4.15.0-HBase-1.3-bin.tar.gz

 

mv apache-phoenix-4.15.0-HBase-1.3-bin  phoenix-4.15.0-HBase-1.3

 

2.拷贝jar包和配置文件

cd phoenix-4.15.0-HBase-1.3

 

cp phoenix-4.15.0-HBase-1.3-server.jar phoenix-core-4.15.0-HBase-1.3.jar /home/hadoop/hbase-1.3.0/lib/

 

cd /home/hadoop/hbase-1.3.0/conf/

 

cp hbase-site.xml /home/hadoop/phoenix-4.15.0-HBase-1.3/bin/

 

cd /home/hadoop/hadoop-2.7.3/etc/hadoop/

 

cp hdfs-site.xml core-site.xml /home/hadoop/phoenix-4.15.0-HBase-1.3/bin/

 

3.重启hbase

bin/stop-hbase.sh

bin/start-hbase.sh

 

或者用：

bin/hbase-daemon.sh stop master

bin/hbase-daemon.sh stop regionsever

bin/hbase-daemon.sh start master

bin/hbase-daemon.sh start regionsever

 

4.phoenix客户端连接（java用户操作）

因为集群中访问hdfs和hbase需要kerberos认证，所以可以这样来连接phoenix。

kinit -kt /home/java/develop.keytab develop@LXTS.COM

bin/sqlline.py 10-100-31-41,10-100-31-48,10-100-31-49:2181

 

或者：

bin/sqlline.py 10-100-31-41,10-100-31-48,10-100-31-49:2181:develop@LXTS.COM:/home/java/develop.keytab

 

第一次连接上，phoenix会自动往hbase中生成八张系统表：

完成！

 

7.使用Java操作Phoenix

 

导入依赖

<dependency>

    <groupId>org.apache.phoenixgroupId>

    <artifactId>phoenix-coreartifactId>

    <version>4.15.0-HBase-1.3version>

dependency>

使用标准的JDBC来操作HBase

//加载驱动

Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");

//通过DriverManager获取连接

Connection conn = DriverManager.getConnection("jdbc:phoenix:zk1,zk2,zk3:2181);

//创建Statement实例

Statement statement = conn.prepareStatement(sql);

//执行增、删、改、查等操作

execute(sql)

executeUpdate(sql)

executeQuery(sql)