摘要：
使用HBase存储中国好声音数据的案例，业务描述如下： 为了能高效的查询到我们需要的数据，我们在RowKey的设计上下了不少功夫，因为过滤RowKey或者根据RowKey查询数据的效率是最高的，我们的RowKey的设计是：UserID + CreateTime + FileID，那么我们在HBase 阅读全文
摘要：
原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1.内置运算符1.1关系运算符 1.2算术运算符 1.3逻辑运算符 1.4复杂类型函数 1.5对复杂类型函数操作 2.内置函数2.1数学函数 2.2收集函数 阅读全文
摘要：
要点：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如 阅读全文
摘要：
Hive嵌入Python Python的输入输出都是\t为分隔符，否则会出错，python脚本输入print出规定格式的数据 用法为先add file，使用语法为TRANSFORM (name, items) USING 'python test.py' AS (name string, item1 阅读全文
摘要：
Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数，多进一出。Count/max/min UDTF(User-Defined Table-G 阅读全文
摘要：
在Hive中还有一项比较好用的功能，也是非常重要的功能：在建表的时候可以不指定表的行、字段、列的分隔方式，通过给表指定一段正则表达式，让Hive自动去匹配； 1、创建表 2、日志文件内容 3、导入本地数据 4、查看结果 阅读全文
摘要：
1、Hive2 beeline Beeline 要与HiveServer2配合使用，支持嵌入模式和远程模式 启动beeline 打开两个Shell窗口，一个启动Hive2 一个beeline连接hive2 启动beeline之后可以尝试连接hiveserver2 2、Hive jdbc 打开Ecli 阅读全文
摘要：
1、Hive的内表 Hive 的内表，就是正常创建的表，在 http://www.cnblogs.com/raphael5200/p/5208437.html 中已经提到； 2、Hive的外表 创建Hive 的外表，需要使用关键字 External： CREATE EXTERNAL TABLE [I 阅读全文
摘要：
DML主要是对Hive 表中的数据进行操作的（增 删 改），但是由于Hadoop的特性，所以单条的修改、删除，其性能会非常的低所以不支持进行级操作； 主要说明一下最常用的批量插入数据较为常用的方法： 1、从文件中加载数据 例： 阅读全文
摘要：
官方帮助文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive DDL Hive完整的DDL Hive DDL的语方法为类SQL语法，所以标准的SQL语法大多数在Hive中都可用； Hive建表 Hive 阅读全文