03 2016 档案

Hbase服务报错：splitting is non empty': Directory is not empty
摘要：Hbase版本：1.2.0-cdh5.14.0 报错内容： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.PathIsNotEmptyDirectoryException): `/hbase/WALs/hadoop03,6002 阅读全文
posted @ 2016-03-25 12:09 niutao 阅读(1283) 评论(0) 推荐(0) 编辑
关于java中的伪共享的认识和解决
摘要：在并发编程过程中，我们大部分的焦点都放在如何控制共享变量的访问控制上（代码层面），但是很少人会关注系统硬件及 JVM 底层相关的影响因素； CPU缓存 网页浏览器为了加快速度，会在本机存缓存以前浏览过的数据； 传统数据库或NoSQL数据库为了加速查询，常在内存设置一个缓存，减少对磁盘(慢)的IO。 阅读全文
posted @ 2016-03-20 21:23 niutao 阅读(1549) 评论(0) 推荐(0) 编辑
Hbase的写入负载均衡
摘要：在写Hbase的时候，会担心数据分布在各个region上不均匀（与预分区无关）； 这个时候可能想到的方式：hash、加盐等（当然是可以的，但是读取的时候咋办呢？ 哪天写一个这样的文章） 本文采用新方式： <repository> <id>cloudera</id> <url>https://repo 阅读全文
posted @ 2016-03-17 17:48 niutao 阅读(719) 评论(0) 推荐(0) 编辑
Consumer is not subscribed to any topics or assigned any partitions
摘要：版本： scala:2.11.8 spark:2.11 hbase:1.2.0-cdh5.14.0 报错信息： java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any part 阅读全文
posted @ 2016-03-17 16:26 niutao 阅读(3499) 评论(0) 推荐(0) 编辑