博客园  :: 首页  :: 联系 :: 管理

随笔分类 -  HBase

摘要:华为2015年7月20日在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL on HBase package 项目又名 Astro,端到端整合了 Spark,Spark SQL和HB 阅读全文

posted @ 2017-09-06 22:42 天戈朱 阅读(2708) 评论(0) 推荐(0) 编辑

摘要:为减少Hbase集群压力,提高性能,我们将HBase库中的数据移到另外的存储,下面记录当我需要对数据进行计算时,数据恢复的过程 目录: Azure storage explorer 工具 数据复制 元数据修复 测试验证 Azure Storage Explorer工具 免费工具下载地址:http:/ 阅读全文

posted @ 2017-01-14 11:48 天戈朱 阅读(445) 评论(0) 推荐(0) 编辑

摘要:在 HBase(六): HBase体系结构剖析(上) 介绍过,Hbase创建表时,只需指定表名和至少一个列族,基于HBase表结构的设计优化主要是基于列族级别的属性配置,如下图: 目录: BLOOMFILTER BLOCKSIZE IN_MEMORY COMPRESSION/ENCODING VER 阅读全文

posted @ 2016-09-11 22:24 天戈朱 阅读(4807) 评论(0) 推荐(0) 编辑

摘要:HBase自带的很多工具可用于管理、分析、修复和调试,这些工具一部分的入口是hbase shell 客户端,另一部分是在hbase的Jar包中。 目录: hbck hfile 数据备份与恢复 hbck: hbck 工具用于Hbase底层文件系统的检测与修复,包含Master、RegionServer 阅读全文

posted @ 2016-09-11 15:51 天戈朱 阅读(5441) 评论(0) 推荐(1) 编辑

摘要:目录: write Compaction splite read Write: 当客户端发起一个Put请求时,首先根据RowKey寻址,从hbase:meta表中查出该Put数据最终需要去的HRegionServer 客户端将Put请求发送给相应的HRegionServer,在HRegionServ 阅读全文

posted @ 2016-09-10 22:18 天戈朱 阅读(2120) 评论(0) 推荐(0) 编辑

摘要:HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的松散数据。与hadoo 阅读全文

posted @ 2016-09-10 19:37 天戈朱 阅读(6200) 评论(2) 推荐(2) 编辑

摘要:基于 HDP2.4安装(五):集群及组件安装 创建的hadoop集群,修改默认配置,将hbase 存储配置为 Azure Blob Storage 目录: 简述 配置 验证 FAQ 简述: hadoop-azure 提供hadoop 与 azure blob storage 集成支持,需要部署 ha 阅读全文

posted @ 2016-09-05 21:19 天戈朱 阅读(2296) 评论(1) 推荐(0) 编辑

摘要:基于linux 创建HDInsight HBase集群,选择最小配置,zk(3)、NN(2)、WN(2),集群节点默认组件服务规划如下 NN0: Active NameNode /HDFS ZKFailoverController/HDFS App Timeline Server /YARN Act 阅读全文

posted @ 2016-09-05 21:19 天戈朱 阅读(600) 评论(0) 推荐(0) 编辑

摘要:目录: hdfs 命令操作本地 hbase Azure HDInsight HBase表数据导入本地 hbase hdfs命令操作本地hbase: 参见 HDP2.4安装(五):集群及组件安装 , 创建本地 hbase集群后,使用hadoop hdfs 命令在访问 hbase 存储数据时,数据在hd 阅读全文

posted @ 2016-09-03 05:46 天戈朱 阅读(1189) 评论(0) 推荐(0) 编辑

摘要:上一章完成了c#访问hbase的sdk封装,接下来以一个具体Demo对sdk进行测试验证。场景:每5秒抓取指定股票列表的实时价格波动行情,数据下载后,一方面实时刷新UI界面,另一方面将数据放入到在内存中模拟的MQ (实际生产情况,可用kafka等集群代替)->存入HBase数据库。提供按指定时间范围 阅读全文

posted @ 2016-08-10 18:50 天戈朱 阅读(3609) 评论(0) 推荐(0) 编辑

摘要:HDP2.4安装系列介绍了通过ambari创建hbase集群的过程,但工作中一直采用.net的技术路线,如何去访问基于Java搞的Hbase呢? Hbase提供基于Java的本地API访问,同时扩展了通过 Thrift、Rest 实现Web访问的API。 so 决定开发基于.net的 sdk,通过其 阅读全文

posted @ 2016-08-10 08:51 天戈朱 阅读(8763) 评论(1) 推荐(3) 编辑

点击右上角即可分享
微信分享提示