Presto、Spark SQL、Hive的比较

一、Presto

     Presto是Facebook开源的，完全基于内存的并⾏计算，分布式SQL交互式查询引擎是它被设计用来专门处理高速，实时的数据分析。Presto本身不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。
与MySQL对比：MySQL首先是一个单点关系型数据库，其具有存储和计算分析能力，而Presto只有计算分析能力；在数据量方面，MySQL不能满足当前大数据量的分析需求，在这样的背景下，Facebook开发出Presto这样一个可以满足大数据量分析需求的工具。

    Presto只有计算分析能力但可以连接多种数据源，包括Hive，Oracle，MySQL，Kafka，MongoDB，Redis等，并且可以将多个不同数据源进行联合分析。可以通过show catalogs 命令看到Presto连接的所有数据源。

    Presto是一个低延迟高并发的内存计算引擎，相比Hive，执行效率要高很多。

    擅长：

    1、 轻量快速，支持近乎实时的查询

    2、Facebook内部广泛使用，有好的扩展性和稳定性

    3、和impala同样使用分布式查询引擎，和传统的Mapreduce相比，消除了延迟和磁盘IO开销

    4、有完善的文档

二、Hive
     Apache Hive数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。结构可以投射到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
     Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
     Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上，控制分隔符，也允许用户指定数据格式

Hive执行HQL语句有以下三种方式：

1：直接命令行执行SQL语句：hive -e "select from table…

2：执行HQL文件中的语句：hive -f temp.hql

3：打开调试模式：hive --hiveconf

优点：

   运行在Mapreduce框架之上，非常好的支持用户自定义函数，可以方便的和hbase等系统结合使用。

缺点：

   拥有MapReduce所有缺点，包含昂贵的Shuffle操作和磁盘IO操作，不支持多个reduce操作group by和order by查询，对比相关竞品查询速度较慢

三、Spark SQL

     SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，我们上面提到，Hive是基于hadoop之上的一个开源的工具，提供的就是类似于SQL的一种HQL语言，它的好处就是可以直接把你的SQL语句转换成mapreduce作业，然后提交在集群上运行，好处就是我们不需要基于mapreduce的api进行编程，只需要写SQL语句就能完成大数据的统计和分析。
在上面我们提到，Hive是把SQL翻译成MapReduce作业，所以底层还是基于MapReduce，那么MapReduce框架的缺点就是效率太低，那么这样的话我们Hive的效率肯定不会高，对于批处理的作业Hive进行实现的话，如果很大的话，耗时会很时间，甚至十几个小时。

那么如何改进呢？
    方法就是换掉底层的执行引擎，后来就产生的TEZ还有Spark这些底层的执行引擎，也就是说Hive可以跑在TEZ、SPARK上面。 后来慢慢发展就推出了Spark，Spark是一个基于内存的分布式计算框架，他的执行效率比MapReduce提高了很多！

    Spark SQL的一大用处就是执行SQL查询语句，Spark SQL也可以用来从Hive中读取数据，当我们使用其它编程语言来运行一个SQL语句，结果返回的是一个Dataset或者DataFrame，可以使用命令行，JDBC或者ODBC的方式来与SQL进行交互。

四、三者对比

   Hive是一个数据仓库，是一个交互式比较弱一点的查询引擎，交互式没有presto那么强，而且只能访问hdfs的数据；
   Presto是一个交互式查询引擎，可以在很短的时间内返回查询结果，秒级，分钟级，能访问很多数据源；
   Hive在查询100Gb级别的数据时，消耗时间已经是分钟级了；但是Presto是取代不了Hive的，因为Presto全部的数据都是在内存中，限制了在内存中的数据集大小，比如多个大表的join，这些大表是不能完全放进内存的，实际应用中，对于在Presto的查询是有一定规定条件的，比如说一个查询在Presto查询超过30分钟（此时适合在SparkSQL运行），那就kill掉吧，说明不适合在Presto上使用，主要原因是，查询过大的话，会占用整个集群的资源，这会导致你后续的查询是没有资源进行查询的，这跟Presto的设计理念是冲突的，就像是你进行一个查询，但是要等个5分钟才有资源继续查询，这是很不合理的，交互式就变得弱了很多。

    因此 ，在数据源的级联查询时，用Presto写SQL语句进行查询。在进行简单的数据查询时，可以用HQL进行建表，查询，关联等。当数据量较大时，可用SparkSQL进行建表，查询，关联等。