[置顶] Hbase过滤器

摘要: Hbase过滤器简介 HBase的基本API,包括增、删、改、查等,增、删都是相对简单的操作,与传统的RDBMS相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根据行键的范围来查询(Scan)。 HBase不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filter)来查 阅读全文

posted @ 2018-09-02 20:08 dlyhm 阅读(301) 评论(0) 推荐(0) 编辑

[置顶] hive工作记录-20180513

摘要: Hive的数据导入: 1.从本地文件系统中导入数据到Hive表 基础语法1 : create table 表名(列名1 数据类型, 列名2 数据类型, … …) row format delimited fields terminated by '分隔符' stored as textfile 参数 阅读全文

posted @ 2018-05-13 15:35 dlyhm 阅读(150) 评论(0) 推荐(0) 编辑

2018年10月15日

spark+phoenix

摘要: phoenix作为查询引擎,为了提高查询效率,为phoenix表创建了二级索引,而数据是sparkstreaming通过hbase api直接向hbase插数据。那么问题来了,对于phoenix的二级索引,直接插入底层hbase的源表,不会引起二级索引的更新,从而导致phoenix索引数据和hbas 阅读全文

posted @ 2018-10-15 09:55 dlyhm 阅读(2415) 评论(0) 推荐(0) 编辑

2018年9月16日

Hbase系统架构简述

摘要: 由于最近要开始深入的学习一下hbase,所以,先大概了解了hbase的基本架构,在此简单的记录一下。 Hbase的逻辑视图 Hbase的物理存储 HRegion Table中所有行都按照row key的字典序排列。 Table在行的方向上分割为多个HRegion。 HRegion按大小分割的,每个表 阅读全文

posted @ 2018-09-16 18:55 dlyhm 阅读(860) 评论(0) 推荐(0) 编辑

2018年9月9日

hive常见的几种优化手段

摘要: Hive调优的几个入手点: Hive是基于Hadoop框架的,Hadoop框架又是运行在JVM中的,而JVM最终是要运行在操作系统之上的,所以,Hive的调优可以通过如下几个方面入手: 操作系统调优 - Hadoop主要的操作系统是Linux,Linux系统调优包括文件系统的选择、cpu的调度、内存 阅读全文

posted @ 2018-09-09 21:38 dlyhm 阅读(770) 评论(0) 推荐(1) 编辑

导航