【TPC-DS】trino+S3+hive+postgresql性能测试--trino+postgresql环境安装部署（二）

环境要求

  • Mac OS X 或 Linux
  • jdk11.0.11到12版本之间
  • Python 2.6.x, 2.7.x, or 3.x

环境信息（不用关注）

服务器配置

IP地址

用户名/密码

Cpu/Mem

系统盘

网卡

普通磁盘（HDD）

高性能磁盘（SSD）

节点数量

10.201.0.122 - 10.201.0.125

xxxxx

16核/64G

200G

万兆

1T+500G*4

0

4

使用环境

AN

 

10.201.0.125

DN

 

10.201.0.122~10.201.0.124

web ui

 

http://10.201.0.125:8080/

安装java

参考文章：https://www.cnblogs.com/wjup/p/11041274.html

java要求：AdoptOpenJDK-11.0.11+9或OpenJDK均可

环境配置

#set java environment

export JAVA_HOME=/usr/local/jdk-11.0.11+9

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME CLASSPATH PATH

 

安装trino

进入到trino的trino-server-363目录下，输入命令：./trino --server 10.201.0.124:8080 --catalog jmx

 

 

 

presto部署连接postgresql

注：承接安装trino的第四步配置catalog

1、postgresql已安装并配置成功，可成功访问

2、在/trino-server-359/etc/calalog目录下新建postgresql.properties文件

vim postgresql.properties

配置内容

connector.name=postgresql
connection-url=jdbc:postgresql://10.201.0.125:5432/syw_1026_student
connection-user=postgres
connection-password=public

注：其postgres是10.201.0.125的服务器，已安装的postgresql数据库上建的库。注意这里的postgres直接影响着后面连接posrgressql后查看到的表，要使用哪个库，在这里就写哪个库

3、重启动trino

  • 进入/root/trino/trino-server-363/bin目录下，输入命令：./launcher run
#启动，该命令可以看见日志
./launcher run

#启动，该命令后台启动

./launcher start

#终止
./launcher stop

#重启
./launcher restart

　　

4、验证trino连接postgresql

进入到trino的trino-server-363目录下，输入命令：

./trino --server 10.201.0.125:8080 --catalog  postgresql --schema syw_1026_student;

--server：配置的服务器信息

--catalog：数据源类型，此处是postgresql

--schema：postgresql的数据库名称，与/root/trino/trino-server-363/etc/catalog/postgresql.properties中connection-url中写入的库名保持一致

 

 

多集群环境配置

1、10.121.0.125作为master的部署配置

  • 修改config.properties
node-scheduler.include-coordinator=false    #由true改为false

 

 

 

2、10.121.0.122~10.121.0.124作为worker的配置部署

  • 修改config.properties ，修改后的显示如下：

1. coordinator=true 改为 coordinator=false

2. discovery.uri=http://10.201.0.122:8080，将各个节点的uri均改为 discovery.uri=http://10.201.0.125:8080

3. 注释掉web-ui.enabled=true

  • 修改node.properties，每个node.id都必须不一致，之前若已设置，则不用修改，其他内容不用改

示例：10.201.0.123 的node.id的设置如下

node.id=trino-123-DN

示例：10.201.0.124 的node.id的设置如下

node.id=trino-124-DN

3、重启trino，包括：master、各个worker节点

进入到/root/trino/trino-server-363/bin目录下，输入命令：

./launcher restart

4、查看集群是否配置成功

进入web页面查看集群状态，浏览器输入：http://10.201.0.125:8080/

 

如上则表示集群配置完成，并验证全部成功

 

附加说明

web ui的使用介绍

问题一：query details显示出内容

 

 

 

解决方案：在master或worker节点上执行具体的sql语句，即可看到对应的执行结果

操作步骤：

1. 进入某个worker节点，如10.201.0.123

2. 进入/root/trino/trino-server-363目录下，执行：

[root@cluster-meta-node-03 trino-server-363]# ./trino --server 10.201.0.125:8080 --catalog  postgresql --schema postgres

trino:postgres> show schemas;

SQL执行的截图示例：

 

 

 执行完成后，刷新web ui界面，即可看到如下截图的效果

 

 

 每次sql 的执行，均可看到详细的执行信息，具体实战中去了解即可。

 

参考网站

 

posted @ 2021-11-23 14:56  Syw_文  阅读(564)  评论(0)  编辑  收藏  举报