单机安装hive和presto

  

 

问题：

公司最近在搞presto，主要是分析一下presto和hive的查询大数据量的性能对比：

　　我先把我的对比图拿出来（50条数据左右）针对同一条sql（select * from employee where eid = 1203）

　　hive的查询，下面有时间：4.436s

　　

　　presto的查询： 0.02s

　　

　　

　　查询效率比为  4.436 / 0.02  ===  2021

 

 补充：

　　presto是什么

　　　　Presto是Facebook开发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。【百度】

　　　　我的理解就没那么深了。我认为presto是一个分布式搜索引擎。为了加快查询效率，应对大数据量的查询而产生的：presto不是传统意义上的数据库，

　　presto产生的目的：

　　　　Presto被设计为数据仓库和数据分析产品：数据分析、大规模数据聚集和生成报表。这些工作经常通常被认为是线上分析处理操作。

　　谁使用Presto：

　　　　Presto是FaceBook开源的一个开源项目。Presto在FaceBook诞生，并且由FaceBook内部工程师和开源社区的工程师公共维护和改进。

 

应用：　

 　　　　扯了那么多，大家应该对presto有点简单的认识了，那就看看怎么应用吧

　　　　既然要对比hive和presto的性能问题，那就要面临hadoop环境搭建的问题：下面我简单搭建一下hadoop的单机环境，作为此次的测试环境，

　　　准备软件：链接地址    链接：http://pan.baidu.com/s/1eSaUnYU 密码：5yrg　

　　　　　　hadoop-2.6.0.tar

　　　　　　apache-hive-2.1.1

　　　　　　presto-server-0.100.tar

　　　　　　jdk-8u151-linux-x64.tar

　　　注意：其实还需要准备mysql，但是在centos7中默认是Mariadb   ，和mysql差不多，直接用这个也行

　　基本软件准备好，开始安，安装我分为两部分：

　　1.安装的准备工作（ssh   防火墙，主机名，jdk等配置）

　　2.软件的安装（mysql，hadoop,hive,presto的安装配置）

　　

　　安装准备工作:

　　　　1>  我是单机测试：所以要把防火墙关闭，防止端口访问不了的问题

　　　　　　centos7的命令是：

　　　　　　　　systemctl stop firewalld

　　　　　　　　systemctl disable firewalld    ---禁止防火强开启启动

　　　　　　　　setenforce 0    -- 关闭selinux

　　　　　　　　修改/etc/selinux/config ,设定 SELINUX=disabled  --测底关闭selinux

　　　　

　　　　2> 创建用户(无所谓，为了更正式我写上了，一般用root权限太大，防止出错，无法恢复)

　　　　　　创建用户hive，并以/home/hive   作为所有组件的Home，java例外

　　　　3> ssh的免密登录（单机无所谓，集群要分批拷贝到slave机器上）

　　　　　　确保是在/home/hive目下，执行以下命令

　　　　　ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
　　　　　cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
　　　　　chmod 644 ~/.ssh/authorized_keys
　　  4>修改hosts文件：
　　　　

                  

　　　　5> jdk的安装（为啥要用jdk8会在最后讲解错误的时候解释，耐心点，往后看）

　　　　　　把jdk8放在/usr/local下：解压即可（由于我在原有集群上改的，jdk的名字还保留原来的，只是把解压后的jdk8的文件放在这个文件夹里面了，这样不影响我原来集群的运行）

　　　　　　　　 tar -zxvf jdk-8u151-linux-x64.tar.gz 

　　　　　　

                  

　　　　6>修改/etc/profile   让环境变量java生效： 执行此命令     source  /etc/profile   （最后也就安装那么多东西）

　　　　　　

 

　　　　至此，安装前的准备工作已经准备完毕：

 

　　

　　软件安装过程：

　　　　　　先安装mysql   |  或者mariaDB（centos默认带有的。我直接用这个了）

　　　　　　第一步：

　　　　　　　　yum -y install MariaDB-client MariaDB-server MariaDB-devel

　　　　　　第二步：开启服务:

　　　　　　　　 service mysql start 

　　　　　　第三步：设置密码：（默认无密码）

　　　　　　　　mysqladmin -u root password ‘888888’

　　　　　　连接数据库：成功如下：　　

　　　　　　　　

　　　　　　关于授权问题我就不扯了。想玩的去找度娘。安装到这没问题的话就完成30%了，继续加油，搞起来！！！！！

　　　　下面安装hadoopl了（兴奋。。。。）

　　　　　　　把hadoop2.6  上传到/opt下    如下图:(我把其他软件也放在这了，下面就不说了)

　　　　　　

 　　　　1>  解压hadoop:

　　　　 2> 在profile中配置hadoop的HADOOP_HOME  PATH等，然后source  /etc/profile生效

　　　　 3> 设置hadoop的一些配置文件  

　　　　　　先创建一些目录，在core-site.xml   hdfs-site,xml中配置要使用：

　　　　　　mkdir  -p  /home/hadoop/hadoop/tmp 
　　　　　　mkdir -p  /home/hadoop/hadoop/hdfs 
　　　　　　mkdir -p  /home/hadoop/hadoop/hdfs/data 
　　　　　　mkdir -p /home/hadoop/ hadoop/hdfs/name

　　　　  　 3.1》进入到hadoop目录中   进入到    $HADOOP_HOME/etc/hadoop中：

　　　　　　　　修改hadoop_env.sh，yarn-env.sh，mapred-env.sh      加上JAVA_HOME的路径          export JAVA_HOME=/usr/local/jdk1.7.0_79

　　　　　   3.2》 配置hadoop的四大金刚（core   |   hdfs   |  yarn  |  mapred  ）.xml文件

　　　　　　配置core　

 1 <configuration>
 2 
 3     <property>
 4  <name>fs.defaultFS</name>
 5  <value>hdfs://hive:9001</value>
 6  <description>HDFS的URI，文件系统://namenode标识:端口号,默认是9000</description>
 7 </property>
 8 <property>
 9  <name>hadoop.tmp.dir</name>
10  <value>/home/hadoop/hadoop/tmp</value>
11  <description>namenode上本地的hadoop临时文件夹</description>
12 </property>
13 <property>
14   <name>ipc.client.connect.max.retries</name>
15   <value>100</value>
16   <description>默认10次，现在配置100次</description>
17 </property>
18 <property>
19   <name>ipc.client.connect.retry.interval</name>
20   <value>10000</value>
21   <description>连接间隔1秒钟，默认是0.1秒</description>
22 </property>
23 </configuration>

　　　　配置hdfs

 1 <property>
 2     <name>dfs.namenode.name.dir</name>
 3     <value>/home/hadoop/hadoop/hdfs/name</value>
 4     <description>namenode上存储hdfs名字空间元数据 </description>
 5 </property>
 6 <property>
 7     <name> dfs.datanode.data.dir</name>
 8     <value>/home/hadoop/hadoop/hdfs/data</value>
 9     <description>datanode上数据块的物理存储位置</description>
10 </property>
11 <property>
12     <name>dfs.replication</name>
13     <value>1</value>
14     <description>副本个数，配置默认是3,应小于datanode机器数量</description>
15 </property>
16 <property>
17  <name>dfs.namenode.rpc-address</name>
18  <value>hive:9001</value>
19  <description>RPC address that handles all clients requests。有人说需要和fs.defaultFS 一样端口</description>
20 </property>

　　　　　　配置yarn

　　

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hive:8099</value>
        <description>用于管理集群的资源，可以通过浏览器访问 </description>
</property>
<property>
        <name>yarn.nodemanager.webapp.address</name>
        <value>hive:8042</value>
        <description>用于管理节点，可以通过浏览器访问 </description>
</property>

　　　　　　　配置mapred

  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

　　最后：slaves

　　　　hive

　　4>启动并验证　　

　　　　$HADOOP_HOME/bin/hdfs namenode –format    --这个执行一次即可。

　　　　$HADOOP_HOME/sbin/start-dfs.sh

　　　　$HADOOP_HOME/sbin/start-yarn.sh　

　

　　　　telnet 测试对应端口是不是能连接上：

　　　　输入jps看看服务是不是都能起来:

　　　

　　　测试结果：

　　　　

 

 

    　　　　

　　

　　至此hadoop安装完毕，测试完毕：不错完成60%

　　

 

安装hive　　:

　　　　1>上传到 /opt上    解压     在/etc/profile  配置环境变量位置      让环境变量生效  source /etc/profile

 

　　　　2>  创建一些hive的保存目录　　

 　　　　　　准备hdfs路径

　　　　　　hdfs dfs -mkdir -p /warehouse
　　　　　　hdfs dfs -mkdir -p /tmp/hive
　　　　　　hdfs dfs -chmod 773 /warehouse
　　　　　　hdfs dfs -chmod 773 /tmp/hive

　　　　3>  cd $HIVE_HOME/conf下修改hive-env.sh ,hive-site.xml  (如果没有就用模板修改)

　　　　　　修改hive-env.sh

　　　　　　

　　　　修改hive-site.xml

　　　　

　　　　到此。hive安装完毕：

　　　　注意。网上有的说要进行初始化：$HIVE_HOME/bin/schematool -dbType mysql -initSchema   （但我没执行这步也ok）【待考证】

　　

　　　　启动 hive

　　　　　　hive --service metastore

　　　　此时，在hive的安装目录任意位置，输入hive启动，然后jps    会出现RunJar这个进程

　　　　

 

　　　　说明hive启动时正常的，侧面验证hive安装成功：　

　　

 

安装presto       安装参考

　　　　1》老规矩，上传到/opt    解压    配置profile      执行source   /etc/profile  让变量生效

　　　　2》因为presto中的文件夹啥的自己创建：

　　　　　　创建目录

　　　　　　mkdir -p $PRESTO_HOME/etc/catalog

　　　　　　mkdir -p /home/hadoop/data_presto/data

　　　　　　关于etc下的其他文件和catalog文件夹：不扯淡，上官网解释

　　　　　　

　　　　　　在我机器上的配置如下：

　　　　　　　　

　　　　　　node.properties

　　　　　　　　

　　　　　　config.properties

　　　　　　　　

 

　　　　　　jvm.config

　　　　　　　　 

 

　　　　　　log.properties

　　　　　　　　　　

 

　　　　进入catalog文件夹下，配置数据源的信息，我连接的是hive，然后就配置个hive.preperties文件即可：

　　　　　　　　

 

 

到这，presto的配置也完毕了。

　　　　　　进入bin目录下，启动测试一把：　　

　　　　　　cd $PRESTO_HOME/bin      执行   ./launcher  start   然后进程会出现PrestoServer

 

                     

　　

　　　测试config的路径连接   我的是http:192.168.52.142:8888    成功如下： 会记录你的presto的每一步操作信息

　　　　

 

 

　至此整个hadoop+hive +presto搭建完毕了！！！！！！！！！！！！！！               

 

 还没结束:还有一点presto的cli介绍一下：   安装server是：presto-server-0.100.tar

　　　　下载对应版本的    presto-cli-0.100-executable      不然会报错的：

　　　　　　分为三步：

　　　　　　1》上传 j解压   改名presto-cli： 

　　　　　　2》改权限   chmod   +x      presto-cli

　　　　　　3》mv移动到bin目录下

 　　　　　   4》命令行连接：在bin目录下运行

　　　　　　　　./presto-cli --server hive:8888 --catalog hive --schema default　　

 　　　　　　

　　　　　　

　　　　有人会问，你咋知道连接到hive了,那我用hive连接一下，验证一下

 

 　　　　

 

 

 

 　　　　　　 

　　

 

　　常见错误总结：

　　　　1》错误一：

　　　　　　　　 Error: Defunct property 'task.max-memory' (class [class com.facebook.presto.execution.TaskManagerConfig]) cannot be configured. at com.facebook.presto.server.ServerMainModule.setup(ServerMainModule.java:254)

　　　　　这是因为版本不一致造成的，所以我说的是server和cli版本要一致，我用的都是0.100版本：

　　　　2》错误二

　　　　　　　　连接拒绝    refused.    Connected........

　　　　　　那就是prestoServer的进程没起来     ./laucher   start这一步失败，去presto家目录看看配置文件是不是写错了

　　　　3》错误三

　　　　　　

　　　　　　在config.properties中设置node-scheduler.include-coordinator=true

　　　　4》错误四

　　　　　　jdk 1.8  使用与server 0.86以上版本         0.85以下   jdk 1.7版本（这也是一开始为啥我把我的jdk7换成8的原因）

　　　　　　　　

　　

　　　　　　

　　　　　　

 

 　　　　

 

　　　　　　

　　　　　　

　　　　　　　　

 

posted @ 2017-10-27 17:26  陽66  阅读(744)  评论(0)  编辑  收藏  举报