随笔分类 - Hive
摘要：Hive嵌入Python Python的输入输出都是\t为分隔符，否则会出错，python脚本输入print出规定格式的数据 用法为先add file，使用语法为TRANSFORM (name, items) USING 'python test.py' AS (name string, item1
阅读全文
摘要：要点：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如
阅读全文
摘要：Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数，多进一出。Count/max/min UDTF(User-Defined Table-G
阅读全文
摘要：原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1.内置运算符1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为
阅读全文
摘要：在Hive中还有一项比较好用的功能，也是非常重要的功能：在建表的时候可以不指定表的行、字段、列的分隔方式，通过给表指定一段正则表达式，让Hive自动去匹配； 1、创建表 CREATE TABLE apachelog ( dates STRING, times STRING, types STRING
阅读全文
摘要：1、Hive2 beeline Beeline 要与HiveServer2配合使用，支持嵌入模式和远程模式 启动beeline 打开两个Shell窗口，一个启动Hive2 一个beeline连接hive2 #启动HiverServer2 , ./bin/hiveserver2 [root@node5
阅读全文
摘要：1、Hive的内表 Hive 的内表，就是正常创建的表，在 http://www.cnblogs.com/raphael5200/p/5208437.html 中已经提到； 2、Hive的外表 创建Hive 的外表，需要使用关键字 External： CREATE EXTERNAL TABLE [I
阅读全文
摘要：DML主要是对Hive 表中的数据进行操作的（增 删 改），但是由于Hadoop的特性，所以单条的修改、删除，其性能会非常的低所以不支持进行级操作；
阅读全文
摘要：官方帮助文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive的数据类型 -- 扩展数据类型data_type : primitive_type | array_type | map_type | str
阅读全文
摘要：这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可; $ vim hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;
阅读全文
摘要：一、前提条件 安装了Zookeeper、Hadoop HDFS HA 安装方法： http://www.cnblogs.com/raphael5200/p/5154325.html 二、安装Mysql 因为使用量多的是单用户数据库模式，并且数据库使用最多的是mysql 所以在这里选择mysql数据库
阅读全文
摘要：
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
阅读全文
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
阅读全文