摘要:
HBase的预分区 1、为何要预分区? 增加数据读写效率 负载均衡,防止数据倾斜 方便集群容灾调度region 优化Map数量 2、如何预分区? 每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护。 阅读全文
摘要:
HBase与Hive交互操作 1、环境准备 因为我们后续可能会在操作Hive的同时对HBase也会产生影响,所以Hive需要持有操作HBase的Jar,那么接下来拷贝Hive所依赖的Jar包(或者使用软连接的形式)。 同时在hive-site.xml中修改zookeeper的属性,如下: 2、案例1 阅读全文
摘要:
HBase与Sqoop集成 案例:将RDBMS中的数据抽取到HBase中 Step1、配置sqoop-env.sh如下: Step2、在Mysql中创建一张数据库library,一张表book Step3、向表中插入一些数据 完成后如图: Step4、执行Sqoop导入数据的操作 Step5、在HB 阅读全文