返回顶部 Fork me on GitHub
上一页 1 2 3 4 5 6 7 8 ··· 13 下一页
摘要: 一、协处理器简介 1、 起源 Hbase 作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执 行求和、计数、排序等操作。比如,在旧版本的(<0.92)Hbase 中,统计数据表的总行数,需 要使用 Counter 方法,执行一次 MapReduce Job 才能得到。虽然 HB 阅读全文
posted @ 2018-08-18 22:15 Frankdeng 阅读(12763) 评论(0) 推荐(0) 编辑
摘要: 一、过滤器(Filter) 基础API中的查询操作在面对大量数据的时候是非常苍白的,这里Hbase提供了高级的查询方法:Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤,基于Hbase本身提供的三维有序(主键有序、列有序、版本有序),这些Filter可以高效的完成查询过滤的 阅读全文
posted @ 2018-08-17 22:12 Frankdeng 阅读(2771) 评论(2) 推荐(1) 编辑
摘要: 一.数据的备份与恢复 1. 备份 停止 HBase 服务后,使用 distcp 命令运行 MapReduce 任务进行备份,将数据备份到另一个地方,可以是同一个集群,也可以是专用的备份集群。 即,把数据转移到当前集群的其他目录下(也可以不在同一个集群中): 1. 备份 停止 HBase 服务后,使用 阅读全文
posted @ 2018-08-16 22:02 Frankdeng 阅读(3101) 评论(0) 推荐(3) 编辑
摘要: 一、项目环境搭建 新建 Maven Project,新建项目后在 pom.xml 中添加依赖: 二、HBase API操作表和数据 注意,这部分的学习内容,我们先学习使用老版本的 API,接着再写出新版本的 API 调用方式。因为在企业中,有些时候我们需要一些过时的 API 来提供更好的兼容性。 1 阅读全文
posted @ 2018-08-15 18:52 Frankdeng 阅读(5379) 评论(0) 推荐(1) 编辑
摘要: 一、进入HBase命令行 在你安装的随意台服务器节点上,执行命令:hbase shell,会进入到你的 hbase shell 客 户端 说明,先看一下提示。其实是不是有一句很重要的话: 讲述了怎么获得帮助,怎么退出客户端 help 获取帮助 help:获取所有命令提示 help "dml" :获取 阅读全文
posted @ 2018-08-14 23:53 Frankdeng 阅读(3861) 评论(0) 推荐(1) 编辑
摘要: 一、系统架构 注意:应该是每一个 RegionServer 就只有一个 HLog,而不是一个 Region 有一个 HLog。 从HBase的架构图上可以看出,HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemSto 阅读全文
posted @ 2018-08-13 23:45 Frankdeng 阅读(15998) 评论(2) 推荐(5) 编辑
摘要: 一、安装前提 1、HBase 依赖于 HDFS 做底层的数据存储 2、HBase 依赖于 MapReduce 做数据计算 3、HBase 依赖于 ZooKeeper 做服务协调 4、HBase源码是java编写的,安装需要依赖JDK 1、版本选择 打开官方的版本说明http://hbase.apac 阅读全文
posted @ 2018-08-12 21:49 Frankdeng 阅读(5090) 评论(1) 推荐(1) 编辑
摘要: 一 数据仓库的概念 1 什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 阅读全文
posted @ 2018-08-12 19:52 Frankdeng 阅读(29444) 评论(2) 推荐(2) 编辑
摘要: 一 Hive SQL练习之影评案例 案例说明 现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072, 共有6040条数据对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipco 阅读全文
posted @ 2018-08-12 18:54 Frankdeng 阅读(10797) 评论(1) 推荐(4) 编辑
摘要: 一、Fetch抓取 1、理论分析 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。 在hive-default 阅读全文
posted @ 2018-08-12 18:32 Frankdeng 阅读(18554) 评论(2) 推荐(7) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 13 下一页