Charlist

摘要： hive hbase整合，要求比较多，1.hive的得是0.6.0（当前最新的版本） 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3，其他版本需要重新编译hive_hbase-handler 但是新版的hbase（0.90）变动特别大，根本无法从编译。这点比较恶心，hbase目前升级比较快，当前是0.90（从0.20.6直接跳到0.8... 阅读全文

摘要： 关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用Hive的动态分区，需要进行相应的配置。先看一个应用场景，源表t_lxw1234的数据如下：[sql] view plain copySELECT day,url FROM t_lxw12... 阅读全文

摘要： 在前面的文章中，介绍了可以把Hive当成一个“数据库”，它也具备传统数据库的数据单元，数据库（Database/Schema）和表（Table）。本文介绍一下Hive中的数据库（Database/Schema）和表（Table）的基础知识，由于篇幅原因，这里只是一些常用的、基础的。二、Hive的数据库和表先看一张草图：Hive结构从图上可以看出，Hive作为一个“数据库”，在结构上积极向传统数据库... 阅读全文

摘要： 关于 Hive DML 语法，你可以参考 apache 官方文档的说明:Hive Data Manipulation Language。apache的hive版本现在应该是 0.13.0，而我使用的 hadoop 版本是 CDH5.0.1，其对应的 hive 版本是 0.12.0。故只能参考apache官方文档来看 cdh5.0.1 实现了哪些特性。因为 hive 版本会持续升级，故本篇文章不一定... 阅读全文

摘要： 1.查看mysql中metastore数据存储结构Metastore中只保存了表的描述信息（名字，列，类型，对应目录）使用SQLYog连接itcast05 的mysql数据库 查看hive数据库的表结构： 2.建表(默认是内部表（先建表，后有数据）)（建表时必须指定列的分隔符）create table trade_detail( id bigint, account string, inco... 阅读全文

摘要： 明这篇文章是来自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions：的不严格翻译，因为翻译的文章示例写得比较通俗易懂，此外，我把自己对于Hive的UDAF理解穿插到文章里面。udfa是hive中用户自定义的聚集函数，hive内置UDAF函数包括有sum()与count（），UDAF实现有简单与通用两种方式，简单... 阅读全文

摘要： HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。 如上图所示，key1,key2,key3是三条记录的唯一的row key值，column-family1,column-family2,column-family3是三个列族，每个列族下又包括几列。比如column-family1这个列族下包括两列，名字是column1和column2，t1:... 阅读全文

摘要： 也分为行列，行是索引，锁定数据，查找数据只能通过行列：建表时必须知道列族，真实列（列簇）在插入数据时候可以指定 查找指定列，必须带列族，列族1：name 阅读全文

摘要： 一. shell命令1. 进入hbase命令行 ./hbase shell2. 显示hbase中的表 list3. 创建user表，包含info、data两个列族create 'user', 'info', 'data'create 'user', {NAME => 'info', VERSIONS => '3'}4. 向表中插入信息：向user表中插入信息，row key为rk0001，列族... 阅读全文

摘要： Hadoop学习笔记之HBase Shell语法练习作者：hugengyong下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查看表中的记... 阅读全文