大数据 - 随笔分类 - ballwql

摘要：为充分利用HBase集群的计算性能，计划在HBase上混布MR集群，不过在部署过程中出现很多问题，问题主要集中在配置Cgroup资源隔离方面，在此记录下部署过程及所出现的问题以便回溯。阅读全文

posted @ 2018-07-07 20:46 ballwql 阅读(839) 评论(0) 推荐(0) 编辑

摘要：业务使用HBase已经有一段时间了，期间也反馈了很多问题，其中反馈最多的是HBase是否支持SQL查询和二级索引，由于HBase在这两块上目前暂不支持，导致业务在使用时无法更好的利用现有的经验来查询HBase。虽然HBase本身不支持SQL，但业界还是有现成的方案来支持，如Hive、Impala、Phoenix等。众多方案各有各的优势，本文主要对Phoenix作一个大概的介绍。阅读全文

posted @ 2018-01-28 15:16 ballwql 阅读(46323) 评论(2) 推荐(4) 编辑

HBase 数据迁移方案介绍

摘要：HBase数据同步，是指从一个集群同步到另一个集群，一般当机房迁移、扩容新集群和集群升级时需要做数据迁移同步。本文介绍下目前常用的几种数据同步方案阅读全文

posted @ 2017-12-12 19:18 ballwql 阅读(31509) 评论(3) 推荐(1) 编辑

如何读取Hadoop中压缩的文件

摘要：java读取Hdfs中的压缩文件阅读全文

posted @ 2017-03-25 11:27 ballwql 阅读(1583) 评论(0) 推荐(0) 编辑

HBase入门笔记--读性能优化

摘要：在生产环境使用HBase过程中，随着数据量的不断增加，查询HBase数据变得越来越慢，对于业务来说是不可用的，需要对读性能进行优化阅读全文

posted @ 2017-02-06 10:05 ballwql 阅读(510) 评论(0) 推荐(0) 编辑

HBase 入门笔记-数据落地篇

摘要：本文主要介绍一下hbase数据落地方面的一些经验，涉及表rowkey设计和数据入hbase方案阅读全文