1、Hive入门基本概念
Hadoop：Spark、Hive、Kafka（MQ消息队列/大数据、Java）
大数据解决的问题：海量数据的传输、存储、查询问题
Hive只是一个协调HDFS和Yarn的客户端，不属于大数据框架，但它是分布式的。
第1章 Hive基本概念
1.1 什么是Hive
Hive：由Facbook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张表，并提供类SQL的查询功能。
本质：将HQL转化为MapReduce程序。
- Hive处理的数据存储在HDFS
- Hive分析数据底层的默认实现是MapReduce
- 执行程序运行在Yarn上
1.2 Hive的优缺点
1.2.1 优点
- 操作接口采用类SQL语法，提供快速开发能力。
- 避免写MapReduce，减少开发人员学习成本。
- Hive的执行延迟较高，因此Hive常用语数据分析，对实时性要求不高的场合。
- Hive的优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟较高。
- Hive支持用户自定义函数，用户可根据需要实现函数。
1.2.2 缺点
（1）Hive的HQL表达能力有限
- 迭代式算法无法表达
- 数据挖掘方面不擅长
（2）Hive的效率比较低
- Hive自动生成的MapReduce作业，通常情况下不够智能
- Hive调优比较困难，粒度教粗
1.3 Hive架构原理（面试重点）
Hive架构原理：解析器、编译器、优化器、执行器
Hive运行机制：用户创建表，建立表和数据的映射关系。编写查询分析语句。
1.4 Hive和数据库比较
1.4.1 查询语言
由于SQL被广泛应用于数据仓库中，因此专门针对Hive特性设计类SQL的查询语言HQL。熟悉SQL开发者可用Hive开发。
1.4.2 数据存储位置
Hive建立在Hadoop上，所有Hive的数据都是存储在HDFS上。数据库则将数据保存在块设备或者本地文件系统中。
1.4.3 数据更新
由于Hive针对数据仓库设计，数据仓库内容是读多写少。因此Hive中不建议对数据改写，所有数据都是在加载时确定好的。而数据库中的数据通常是需要经常修改的，因此可以使用INSERT INTO...VALUES添加数据，使用UPDATE...SET修改数据。
1.4.4 索引
Hive在加载过程中不会对数据做任何处理，甚至不会对数据进行扫描，因此没有对数据中某些Key建立索引。Hive访问数据中满足条件的特定值时需要暴力扫描整个数据，因此延迟高。由于MapReduce的引入，Hive可以并行访问数据，因此即使没有索引，依旧能在大数据量访问中体现优势。
数据库中通常会对列建立索引，因此对于少量特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了Hive不适合在线数据查询。
1.4.5 执行
Hive中大多数查询执行时通过Hadoop的MapReduce实现的，而数据库有自己的执行引擎。
1.4.6 执行延迟
Hive查询数据时，因为没有索引需要扫描整个表，因此延迟较高。 另一个延迟因素是MapReduce框架。MapReduce自身具有较高延迟，因此利用MapReduce执行Hive查询时会有较高延迟。相对，数据库执行延迟低。（注：前提是数据规模小，超出数据库处理能力适合用Hive，其并行计算优势更高。）
1.4.7 可扩展性
Hive建立在Hadoop上，因此Hive的可扩展性和Hadoop的可扩展性一致。（世界UI大的Hadoop集群在Yahoo!2009年规模在4000台节点左右）。而数据库由于ACID语言严格限制（三范式原则），扩展极为有限。目前最先进的并行数据库Oracle在理论上扩展能力也仅100台左右。
1.4.8 数据规模
由于Hive建立在集群上可以利用MapReduce进行并行计算，因此可以支持很大规模的数据；相对应，数据库可支持的数据规模较小。
