摘要: 每个region都有startkey和endkey,协处理器的代码是在region上执行,而这些代码在region上执行的时候,我们可以拿到当前region的信息,包括startkey和endkey,然后我们可以用startkey和rowkey拼接,就可以查到我们需要的数据了。 1)定义proto文 阅读全文
posted @ 2019-09-04 15:42 www555 阅读(1303) 评论(0) 推荐(1) 编辑
摘要: 未加盐数据:spark可以使用inputformat、outputformat来读写hbase表。 加盐以后:需要在rowkey之前加一些前缀,否则是查不到数据的。 1)我们需要重新写getsplits方法:从名字我们可以知道是要计算有多少个splits。在hbase中,一个region对用一个sp 阅读全文
posted @ 2019-09-04 14:40 www555 阅读(1106) 评论(0) 推荐(1) 编辑
摘要: 列族数对Flush的影响 在Hbase中,调用API往对应的表中插入数据是会写到MenStore的。而MenStore是一种内存结构。每个列族对应一个MenStore和多个HFile。 列族越多,会导致内存中存在越多的MrenStore。存储在MenStore中的数据在满足一定条件下将会促发Flus 阅读全文
posted @ 2019-08-16 09:38 www555 阅读(2274) 评论(0) 推荐(0) 编辑
摘要: 物化视图有三种刷新方式:COMPLETE、FAST和FORCE。 完全刷新(COMPLETE)会删除表中所有的记录(如果是单表刷新,可能会采用TRUNCATE的方式),然后根据物化视图中查询语句的定义重新生成物化视图。 快速刷新(FAST)采用增量刷新的机制,只将自上次刷新以后对基表进行的所有操作刷 阅读全文
posted @ 2019-07-24 17:17 www555 阅读(2901) 评论(0) 推荐(0) 编辑
摘要: 1.创建简单物化视图 create materialized view mo_data refresh force on demand as select * from data; create materialized view 创建的表名称 refresh force 刷新方式 as 查询语句; 阅读全文
posted @ 2019-07-23 11:04 www555 阅读(1169) 评论(0) 推荐(0) 编辑
摘要: 在catalina.sh脚本的最前边加上如下代码: JAVA_OPTS='-Xms512m -Xmx1024m -XX:PermSize=128m -XX:MaxPermSize=256m' 表示初始内存为512M,最大内存为1024M。可以将Xms和Xmx设置为一样大,可以避免经常回收内存。 阅读全文
posted @ 2019-07-16 09:25 www555 阅读(7028) 评论(0) 推荐(0) 编辑
摘要: 使用case when end时,then后面不能使用双引号,需要使用单引号 如: select count(*) as "违法次数",case when fc.dmsm1 like '%货车%' then '货车'when fc.dmsm1 like '%客车%' then '客车'when fc 阅读全文
posted @ 2019-07-05 16:41 www555 阅读(501) 评论(0) 推荐(0) 编辑
摘要: 字符串需要用双引号,如: select times as “时间” from time1; 阅读全文
posted @ 2019-07-03 10:18 www555 阅读(176) 评论(0) 推荐(0) 编辑
摘要: select * from table_name where to_char(时间字段,'YYYY-MM-dd') between to_char(sysdate,'YYYY-MM')||'-01' and to_char(last_day(SYSDATE),'YYYY-MM-dd'); 阅读全文
posted @ 2019-07-01 15:20 www555 阅读(1908) 评论(0) 推荐(0) 编辑