文章分类 - Hive
摘要:第9章 企业级调优 9.1 Fetch抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。 在hive-de
阅读全文
摘要:8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1.CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意:采用root角色编译,减少文件夹权限出现问题 2.jar包准备(hadoop源码、JDK8 、maven、p
阅读全文
摘要:第7章 7.1 系统内置函数 查看系统自带函数:show functions; 显示自带函数用法:desc function upper; 详细显示自带函数的用法:desc function extended upper; 个别见第6章 数值函数:count()、sum()、min()、max()、
阅读全文
摘要:第6章 数据查询 语法: [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13.0) SELECT [ALL | DISTINCT] select_e
阅读全文
摘要:第5章 DML数据操作 5.1 数据导入 5.1.1 向表中装载数据(Load) 1、语法:load data local inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (part_n
阅读全文
摘要:第4章 DDL数据定义 4.1 创建数据库(create) create database hive_db; (HDFS上地址:user/hive/warehouse/hive.db下) create database if not exists hive_db;(防止数据库已存在) create
阅读全文
摘要:第3章 Hive数据类型 3.1 基本数据类型 3.2 集合数据类型 例如:Json类型数据,Hive无法直接处理。需要在Hive建立对应表,并导入数据。 注:MAP,STRUCT,ARRAY的元素关系都可以用同一个字符表示:“_” 分析: 1、基于json数据结构,在hive创建对应表,导入数据。
阅读全文
摘要:第2章 Hive安装 2.1 Hive安装地址 1、Hive安装地址:http://hive.apache.org/ 2、文档查案地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3、下载地址:http://arch
阅读全文
摘要:Hadoop:Spark、Hive、Kafka(MQ消息队列/大数据、Java) 大数据解决的问题:海量数据的传输、存储、查询问题 Hive只是一个协调HDFS和Yarn的客户端,不属于大数据框架,但它是分布式的。 第1章 Hive基本概念 1.1 什么是Hive Hive:由Facbook开源用于
阅读全文