近实时运算的利器---presto在公司实践

1.起因

公司hadoop集群里的datanonde和tasktracker节点负载主要集中于晚上到凌晨，平日工作时间负载不是很高。但在工作时间内，公司业务人员有实时查询需求，现在主要

借助于hive提供业务人员日常查询。总所周知，hive是一个基于MR的类SQL查询工具，它会把输入的查询SQL解释为MapReduce，能极大的降低使用大数据查询的门槛，

让一般的业务人员也可以直接对大数据进行查询。但一个弊病也是很明显，它的查询速度由于基于MR，会是非常的让人着急。

 

 

在Spark,Storm横行的时代，spark由于耗用内存高而很难满足这种改良的需求，Storm由于和hive不是一个套路，本身实时流处理的思路也和我们的需求差距较大，所以，

寻求一个能提供类似SQL查询接口，并且速度比较接近于实时，能利用现有集群硬件的实时SQL查询引擎成为一个现有hive的替代查询引擎。如果有这个引擎，可以利用

datanode,tasktracker上空闲的内存构成一个分布式的“数据加载内存池”，将数据加载到内存后，再进行计算，这样无疑会提高大数据查询的速度。

幸好，创造了hive的facebook,不负众望，创造了这么一款神器---presto。下面我们来看presto能给我们带来什么。

 

 

插图:日常各个dn和tt的节点的内存使用情况,白天有比较多的空闲时段

2.presto的介绍

英文出处：Martin Traverso(Facebook)。

 

Presto是一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。

 

Presto的运行模型和Hive或MapReduce有着本质的区别。Hive将查询翻译成多阶段的MapReduce任务， 一个接着一个地运行。 每一个任务从磁盘上读取输入数据并且将中间结果输出到磁盘上。 然而Presto引擎没有使用MapReduce。它使用了一个定制的查询和执行引擎和响应的操作符来支持SQL的语法。除了改进的调度算法之外， 所有的数据处理都是在内存中进行的。 不同的处理端通过网络组成处理的流水线。 这样会避免不必要的磁盘读写和额外的延迟。 这种流水线式的执行模型会在同一时间运行多个数据处理段， 一旦数据可用的时候就会将数据从一个处理段传入到下一个处理段。 这样的方式会大大的减少各种查询的端到端响应时间。

 

3.presto部署

首先安装jdk 1.8,下载jdk 1.8后，解压

 

tar zxf jdk1.8.0_45.tar.gz

设置1.8为默认的jdk

 

 

rm /usr/java/latest
ln -s /usr/java/jdk1.8.0_45 /usr/java/latest

 

在/etc/profile里设置

 

export JAVA_HOME=/usr/java/default

然后运行:

 

source /etc/profile

生效设置。

 

下载presto。

 

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.100/presto-server-0.100.tar.gz

解压presto

 

 

tar zxf presto-server-0.100.tar.gz

由于presto有个调度节点和工作节点的区别，所以，我们先配置调度节点。可以在部署后，就用单节点模式，即调度和工作节点为同一台服务器来进行测试。

 

首先配置etc/catalog/hive.properties

 

connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.1.xxx:10001
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

说明：

 

connector.name是当前集群是hadoop版本，有hadoop1,hadoop2,cdh4,cdh5等可选，详细可以参考plugin目录里支持类型。

hive.metasore.uri是对应hive数据源提供的thrift接口，不然presto怎么有元数据呢？

 

hive.config.resources是对应hadoop配置。

 

 

然后配置：etc/node.properties

 

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffffnode-103-15
node.data-dir=/opt/presto/data

 

重要的，每个节点都有自己唯一id，不然不好协同工作了。

 

所以，node.id一定是一个唯一的id

node.data-dir是本机的一个presto数据文件目录。

最后配置:etc/config.properties

coordinator=true

 

node-scheduler.include-coordinator=true
http-server.http.port=1089
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://node-103-15:1089

 

 

http-server.http.port指明调度节点的端口，很重要啊，presto集群的机器都得和这个端口通讯。

discovery.uri=http://node-103-15:1089 也很重要，调度节点的地址，端口，好好指定，集群唯一的。

 

 

4.遇到问题解决

首先遇到问题就是jdk的兼容，由于presto只兼容1.8以上jdk，以前hadoop的1.6,1.7都不行。

所以要将presto部署好，势必和以前hadoop环境的jdk有冲突。所以，干脆将系统jdk升级到1.8.

然后stop tasktracker,stop datanode,最后又重启datanode,tasktracker.最后启动presto.

 

./launcher start

最后启动presto cli进行查询

 

 

./presto-cli  --server node-103-15:1089 --catalog hive --schema default

注意，presto-cli是将presto-cli-excute.jar进行重命名，并且chmod后而来的。

 

最后比较尴尬的是，presto对lzo支持不好，特别是分片的lzo，基本就不支持，这个没办法，presto本身就讲明了

不支持。哎，哪位有办法，可以联系下我。

 

5.presto和hive的性能比较

用同一个SQL做查询，3台服务器presto是:

 

 

采用hive查询是:

 

 

基本上查询速度快了10倍。

综上所述，presto是一个部署容易，又能较好利用空闲内存的近实时查询引擎。