04 2019 档案

mapreduce方式操作hbase

摘要：一、导入数据到hbase 1、配置hbase-site.xml指向hdfs 2、依赖 3、mapper 4、main 5、执行二、从hbase获取数据进行计算从上例中把hbase数据抽取出来计算作者出现数量多加一个依赖 1、mapper 2、reducer 3、main 4、执行三、从hba 阅读全文

posted @ 2019-04-25 23:53 我是属车的阅读(853) 评论(0) 推荐(0) 编辑

oracle 慢查询

摘要：一、查询执行最慢的sql 二、查询次数最多的 sql 阅读全文

posted @ 2019-04-25 14:35 我是属车的阅读(6579) 评论(1) 推荐(1) 编辑

hbase 过滤器属性及其兼容性

摘要：内容来自于《HBASE权威指南》，留存备查，由于版本的原因，可能已经有变化，在应用前兼容性需要测试。阅读全文

posted @ 2019-04-15 22:20 我是属车的阅读(248) 评论(0) 推荐(0) 编辑

hbase 自定义过滤器

摘要：1、首先生成自定义过滤器，生成jar包，然后拷贝到服务器hbase目录的lib下。 1.1 自定义过滤器CustomFilter 1.2 MyFilterProtos是通过protobuf生成的，这里需要注意hbase使用的是protobuf2.5.0版本，不要使用高于2.5.0版本的protobu 阅读全文

posted @ 2019-04-14 19:07 我是属车的阅读(1404) 评论(0) 推荐(0) 编辑

idea的protobuf使用

摘要：1、安装插件 2、添加依赖 3、maven project里可以看到 4、使用protobuf:compile后，生成.proto的编译文件.java，然后拷贝java文件到自己需要的包下或者目录下。阅读全文

posted @ 2019-04-14 18:51 我是属车的阅读(2615) 评论(0) 推荐(0) 编辑

hbase 多个过滤器组合（列表）

摘要：输出结果：阅读全文

posted @ 2019-04-13 21:59 我是属车的阅读(2048) 评论(0) 推荐(0) 编辑

hbase 跳转过滤器skipfilter

摘要：用于跳过整个行键，需要和其他过滤器一起使用，本例SkipFilter和ValueFilter过滤器组合使用过滤不符合条件的行，如果不配合SkipFiter，ValueFilter只过滤单元值包含的列。表中数据：输出结果：ValueFilter过滤只过滤某个Cell，配合SkipFilter过滤阅读全文

posted @ 2019-04-13 17:12 我是属车的阅读(635) 评论(0) 推荐(0) 编辑

hbase 分页过滤（新老API的差别）

摘要：在hbase2.0以前分页过滤必须以上一次的最后一行+空字节数组作为下一次的起始行，因为scan扫描的时候是包含起始行的，为了既能准确定位起始行，但又不重复把上一次的最末一行加入下一页，所以，权威指南里才有了加上空字节数组的处理。 hbase2.0以后，新的api是withStartRow(by 阅读全文

posted @ 2019-04-12 23:01 我是属车的阅读(1300) 评论(0) 推荐(0) 编辑

hbase batch批处理

摘要：hbase的put(List<Put> puts)，delete(List<Delete> deletes)，get(List<Get> gets)都是基于batch()实现的。阅读全文

posted @ 2019-04-07 22:19 我是属车的阅读(2298) 评论(0) 推荐(0) 编辑

hbase 原子操作cas

摘要：在高并发的情况下，对数据row1 column=cf1:qual1, timestamp=1, value=val1的插入或者更新可能会导致非预期的情况，例如：原本客户端A需要在value=val1的条件下将value更新成val_A，高并发下客户端B可能抢先将数据value=val1更新成val 阅读全文

posted @ 2019-04-05 22:29 我是属车的阅读(2557) 评论(0) 推荐(0) 编辑