摘要:
用于跳过整个行键,需要和其他过滤器一起使用,本例SkipFilter和ValueFilter过滤器组合使用过滤不符合条件的行, 如果不配合SkipFiter,ValueFilter只过滤单元值包含的列。 表中数据: 输出结果:ValueFilter过滤只过滤某个Cell,配合SkipFilter过滤 阅读全文
摘要:
在hbase2.0以前分页过滤必须以上一次的最后一行+空字节数组作为下一次的起始行, 因为scan扫描的时候是包含起始行的,为了既能准确定位起始行,但又不重复把上一次的最末一行加入下一页, 所以,权威指南里才有了加上空字节数组的处理。 hbase2.0以后,新的api是withStartRow(by 阅读全文
摘要:
hbase的put(List<Put> puts),delete(List<Delete> deletes),get(List<Get> gets)都是基于batch()实现的。 阅读全文
摘要:
在高并发的情况下,对数据row1 column=cf1:qual1, timestamp=1, value=val1的插入或者更新可能会导致非预期的情况, 例如:原本客户端A需要在value=val1的条件下将value更新成val_A,高并发下客户端B可能抢先将数据value=val1更新成val 阅读全文
摘要:
本文主要是hbase的表操作、数据操作、数据查询过滤等,如果对JDBC或ADO有了解,容易理解HBASE API。 hbase版本是2.0。 1、为了方便先贴helper的部分代码(文末git上有完整的测试代码),主要是为了复用Connection。 初始化,用来初始化hbase配置,连接hbase 阅读全文
摘要:
1、获取windows AD域用户信息,首先需要有一个ad域管理员权限的账号,用这个账号连接ad域,获取所有域用户信息 用LdapContext,它继承自DirContext 2、用DirContext,与上边略有区别 3、用Spring集成ldap application.yml的配置,一种方式自 阅读全文
摘要:
1、安装 在官方镜像站点下载hbase2.0,地址:https://www.apache.org/dyn/closer.lua/hbase/ 设置好JAVA_HOME环境变量,或者直接在hbase的配置文件(conf/hbase-env.sh)里设置JAVA_HOME 设置HBASE_HOME,这个 阅读全文
摘要:
1、用hive查询,而不进入hive cli,查询后的值可以保存到文件中 2、查找某个配置属性 3、执行外部脚本 阅读全文
摘要:
1、内连接 2、外连接 全连接,两边都全显示 3、半连接 4、map连接 5、子查询,Hive只支持在FROM子句中使用子查询,子查询必须有名字,并且列必须唯一:SELECT ... FROM(subquery) name ... 某些情况子查询可以出现在where子句中,本文中第三点半连接就是子查 阅读全文
摘要:
1、order by 是对数据进行全排序,属于标准排序语句 2、sort by 对数据局部排序,是hive的扩展排序语句 sort by不是全局排序,其在数据进入reducer前完成排序. 因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1, 则sort by只保 阅读全文