Phoenix - sql on hbase
上篇文章最后说Hbase原生不支持sql查询，phoenix之于Hbase，就像hive之于Hadoop，会完美的实现hbase的sql查询操作，下面我们就来了解下phoenix，它不仅支持sqlonhbase，还使得创建Hbase二级索引变得更为简单。
本文主要从 phoenix 安装使用入手，介绍下 phoenix 对二级索引的使用。
一 Phoenix 安装
1 安装包下载
- 从对应的地址下载：http://archive.apache.org/dist/phoenix/ 下载时注意版本兼容问题，这里我使用的是
apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz
PS: 如果官网下载比较慢可去文末关注下载。
2 修改配置
将下载好的压缩包解压后，将phoenix目录下的 phoenix-4.8.2-HBase-1.2-server.jar、phoenix-core-4.8.2-HBase-1.2.jar 拷贝到各个 HBase 节点的 lib 目录下。
scp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar hbase01:/hbase-1.2.0-cdh5.14.2/lib/ scp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar hbase02:/hbase-1.2.0-cdh5.14.2/lib/ scp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar hbase03:/hbase-1.2.0-cdh5.14.2/lib/
之后将HBase的配置文件 hbase-site.xml 、 hadoop下的配置文件core-site.xml 、hdfs-site.xml 放到phoenix/bin/下，替换 phoenix 原来的配置文件。
cp /hadoop-2.6.0-cdh5.14.2/etc/hadoop/core-site.xml /apache-phoenix-4.14.0-cdh5.14.2-bin/bin/ cp /hadoop-2.6.0-cdh5.14.2/etc/hadoop/hdfs-site.xml /apache-phoenix-4.14.0-cdh5.14.2-bin/bin/ cp /hbase-1.2.0-cdh5.14.2/conf/hbase-site.xml /apache-phoenix-4.14.0-cdh5.14.2-bin/bin/
记住以上配置完成后，还要重启hbase集群，使 Phoenix的 jar 包生效。
3 验证 phoenix 是否安装成功
在phoenix/bin下输入命令, 进入到命令行，接下来就可以操作了
bin/sqlline.py hbase01:2181
2181 一般是 zookeeper 的端口号，所以运行 phoenix 当然要保持 zk 、hbase、hadoop 集群为启动状态。
二 phoenix 牛刀小试
phoenix 使用主要分为 批处理方式、命令行方式、JDBC调用等。这里主要看下前两种。
- 批处理方式
1.在 hbase01 上创建 phoenix.sql 文件，内容如下：
create table if not exists phoenix (state varchar(10) NOT NULL, city varchar(20) NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city));
2.在 hbase02 执行以下创建 phoenix.csv 文件：
NY,New York,8143197CA, Los Angeles,3844829IL, Chicago,2842518TX, Houston,2016582PA, Philadelphia,1463281AZ, Phoenix,1461575TX, San Antonio,1256509CA, San Diego,1255540TX, Dallas,1213825CA, San Jose,912332
3.创建 phoenix_query.sql ,内容如下,执行 sql 语句查询：
select state as "userState",count(city) as "City Count",sum(population) as "Population Sum" from user_phoenix GROUP BY state;
4.执行 sql 语句，查询结果：
apache-phoenix-4.14.0-cdh5.14.2-bin/bin/psql.py hbase01:2181 phoenix.sql phoenix.csv phoenix_query.sql
- 命令行方式
使用需要建立映射表：
1 进入 hbase 客户端，创建一个普通表 student，列族为 'school','family'
create 'student','school','family'
2. 插入数据：
put 'student','row1','school:name','ted' put 'student','row1','school:adress','beijing' put 'student','row1','family:tel','123456' put 'student','row2','school:name','michael' put 'student','row2','school:adress','shanghai' put 'student','row2','family:tel','654321'
3.建立hbase到phoenix的映射表:
进入客户端：
bin/sqlline.py hbase01:2181
执行 sql 语句
CREATE TABLE IF NOT EXISTS "student" ("no" VARCHAR(10) NOT NULL PRIMARY KEY, "school"."name" VARCHAR(30),"school"."address" VARCHAR(20), "family"."tel" VARCHAR(20), "family"."age" INTEGER) column_encoded_bytes=0;
注意：
pheonix 是大小写敏感的，如果需要不加引号，则创建的字段或者表名都会是大写，当需要创建小写时，注意要添加引号。
4. 查询结果即可：
select * from "student";
三 Phoenix 构建二级索引
1 为什么需要二级索引？
对于 Hbase 而言，精确查询 使用 rowkey 就可以满足了，但是有一些场景查询需要从多个角度查询，比如查询某个人的时候需要从姓名、地址、年龄等多个维度查询，不用 rowkey 只能进行全表扫描，而大数据量情况下，全表扫描的效率是不可接受的。
所以需要建立二级索引，将业务需要的数据联立建立索引，方便查询，但是如果用 hbase 维护的话会很麻烦，这里 phoenix 已经实现了对二级索引的支持。
2 二级索引分类
二级索引有两种分法：
按范围分，可分为 全局索引和本地索引：
- 全局索引：适用于读多写少的场景。
全局索引顾名思义，是所有表的索引，所以它的写效率很低，开销很大，因为要更新索引表，而索引表是分布在不同节点上的，跨节点数据传输会消耗较大性能。
默认情况下，pheonix 在查询时会选择索引表来提升查询效率，但是如果查询字段没在索引表中则不会使用索引查询。
- 本地索引：适用于写操作频繁场景
本地索引是将索引数据与表数据放在同一节点，这样避免了跨机器写数据带来的额外开销，与全局索引不同的是，在使用本地索引时即使查询的字段不在索引表中，也会使用索引表。
一个数据表的所有索引数据都存在一个共享且独立的表中。
按可变性分，可分为可变索引和不可变索引：
- 可变索引：适用于数据有增删改的场景
phoenix 在创建索引时默认都是可变索引，如果创建不可变索引则需要手动指定 IMMUTABLE_ROWS = true。 可变索引也分为 全局索引和 本地索引。
- 不可变索引：适用于数据只增不减的情况，如日志数据。
创建不可边索引需要手动指定 IMMUTABLE_ROWS = true。不可变索引也分为 全局索引和 本地索引。
3 启动二级索引
启用二级索引需要修改 hbase 的 habse-site.xml 配置文件，添加如下配置，直接复制即可，无需改动：
<property>
<name>hbase.regionserver.wal.codec</name>
<value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>
<property>
<name>hbase.region.server.rpc.scheduler.factory.class</name>
<value>org.apache.hadoop.hbase.ipc.PhoenixRpcSchedulerFactory</value>
</property>
<property>
<name>hbase.rpc.controllerfactory.class</name>
<value>org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory</value>
</property>
注意：修改配置文件后，需要重启 hbase 集群
4 二级索引使用
这里对于索引的测试由于比较简单，我单独放在一个小文档中，有兴趣的可以去文末关注下载。
思考个问题：如何确保 query 查询使用 Index 呢？
想要让一个查询使用索引，有三种方式可以实现：
- 创建转换索引：
如果查询项或者查询条件中包含除被索引列之外的列（主键MY_PK除外）。默认情况下，该查询会触发full table scan（全表扫描），但是使用转换索引则可以避免全表扫描。
创建包含某个字段的覆盖索引,创建方式如下：
create index USER_COOKIE_ID_AGE_INDEX on USER ("f"."cookie_id") include("f"."age");
查看当前所有表会发现多一张USER_COOKIE_ID_AGE_INDEX索引表，查询该表数据。
-- 如下会使用索引，转化索引包含了 age cookie_id -- select "age" from userwhere "cookie_id"='99738fd1-2084-44e9'; -- 如下不会使用索引，索引不包含 sex -- select "age","sex" from user where "cookie_id"='99738fd1-2084-44e9';
- 在查询中提示使用索引
select /*+ index(user,USER_COOKIE_ID_AGE_INDEX) */ "age" from user where "cookie_id"='99738fd1-2084-44e9';
在select和column_name之间加上/*+ Index(<表名> <index名>)*/，通过这种方式强制使用索引。
select /*+ index(user,USER_COOKIE_ID_AGE_INDEX) */ "age" from user where "cookie_id"='99738fd1-2084-44e9'; -- 如下不会使用索引，索引不包含 sex -- select "age","sex" from user where "cookie_id"='99738fd1-2084-44e9';
如果sex不是索引字段，那么将会进行全表扫描，所以当用户明确知道表中数据较少且符合检索条件时才适用，此时的性能才是最佳的。
- 使用本地索引
1 创建本地索引，索引列为 “user_id”
create local index USER_USER_ID_INDEX on USER ("f"."user_id");
2 执行查询：
select * from user where "user_id"='371e963d-c-487065';
可以看到，对名为user_id的列进行按值查询需要0.3秒左右。
使用 EXPLAIN(语句的执行逻辑及计划):
explain select * from user where "user_id"='371e963d-c-487065';
查看执行计划，没有执行全表扫描，使用索引，效率变高了。
索引其他命令：
索引重建，索引重建是把索引表清空后重新装配数据，命令如下：
alter index USER_COOKIE_ID_INDEX on user rebuild;
删除索引，命令如下：
-- 语法 drop index 索引名称 on 表名 --
drop index USER_COOKIE_ID_INDEX on user;
参考资料：关注公众号"大数据江湖"， 后台回复 "phoenix"，可领取文中资料，测试数据。
-- THE END --
select /*+ index(user,USER_COOKIE_ID_AGE_INDEX) */ "age"
from user where "cookie_id"='99738fd1-2084-
-- 如下不会使用索引，索引不包含 sex --
select "age","sex" from user where "cookie_id"='99738fd1-2084-44e9';
