Charlist

摘要： 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、功能太强大了，做离线批量计算、ad-hoc查询甚至是实现数据挖掘算法，而且，和HBase、Spark都能整合使用。如果你是做大... 阅读全文

摘要： Hive是支持索引的，但基本没用过，只做了下试验。为什么大家都不用，肯定有它的弊端。Hive索引机制：在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量;在执行索引字段查询时候，首先额外生成一个MR job，根据对索引列的过滤条件，从索引表中过滤出索引列的值对应的hdfs文件路径及偏移量，输出到hdfs上的一个... 阅读全文

摘要： 在前面的文章中，介绍了可以把Hive当成一个“数据库”，它也具备传统数据库的数据单元，数据库（Database/Schema）和表（Table）。本文介绍一下Hive中的数据库（Database/Schema）和表（Table）的基础知识，由于篇幅原因，这里只是一些常用的、基础的。二、Hive的数据库和表先看一张草图：Hive结构从图上可以看出，Hive作为一个“数据库”，在结构上积极向传统数据库... 阅读全文

摘要： 关于 Hive DML 语法，你可以参考 apache 官方文档的说明:Hive Data Manipulation Language。apache的hive版本现在应该是 0.13.0，而我使用的 hadoop 版本是 CDH5.0.1，其对应的 hive 版本是 0.12.0。故只能参考apache官方文档来看 cdh5.0.1 实现了哪些特性。因为 hive 版本会持续升级，故本篇文章不一定... 阅读全文

摘要： 1.查看mysql中metastore数据存储结构Metastore中只保存了表的描述信息（名字，列，类型，对应目录）使用SQLYog连接itcast05 的mysql数据库 查看hive数据库的表结构： 2.建表(默认是内部表（先建表，后有数据）)（建表时必须指定列的分隔符）create table trade_detail( id bigint, account string, inco... 阅读全文

摘要： 明这篇文章是来自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions：的不严格翻译，因为翻译的文章示例写得比较通俗易懂，此外，我把自己对于Hive的UDAF理解穿插到文章里面。udfa是hive中用户自定义的聚集函数，hive内置UDAF函数包括有sum()与count（），UDAF实现有简单与通用两种方式，简单... 阅读全文

摘要： HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。 如上图所示，key1,key2,key3是三条记录的唯一的row key值，column-family1,column-family2,column-family3是三个列族，每个列族下又包括几列。比如column-family1这个列族下包括两列，名字是column1和column2，t1:... 阅读全文

摘要： 也分为行列，行是索引，锁定数据，查找数据只能通过行列：建表时必须知道列族，真实列（列簇）在插入数据时候可以指定 查找指定列，必须带列族，列族1：name 阅读全文

摘要： 一. shell命令1. 进入hbase命令行 ./hbase shell2. 显示hbase中的表 list3. 创建user表，包含info、data两个列族create 'user', 'info', 'data'create 'user', {NAME => 'info', VERSIONS => '3'}4. 向表中插入信息：向user表中插入信息，row key为rk0001，列族... 阅读全文

摘要： Hadoop学习笔记之HBase Shell语法练习作者：hugengyong下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查看表中的记... 阅读全文