摘要: 问题一:./trino --server 10.201.0.125:8080 --catalog postgresql --schema public链接pg,执行show tables报错 解决:启动start-metastore /opt/hive-metastore/bin/start-met 阅读全文
posted @ 2021-11-23 16:23 Syw_文 阅读(307) 评论(0) 推荐(0) 编辑
摘要: 1、表在1G与500G数据量下各自的行数情况统计 2、各张表在1G和500G情况下的写入时间统计汇总 2、各张表在1G和500G情况下的查询时间统计汇总 阅读全文
posted @ 2021-11-23 16:15 Syw_文 阅读(189) 评论(0) 推荐(0) 编辑
摘要: cd /root/trino/trino-server-363/ ./trino --server 10.201.0.125:8080 --catalog hive --schema tpcds -f /root/trino/tpcds-kit/TpcdsData/script/insert_dat 阅读全文
posted @ 2021-11-23 16:08 Syw_文 阅读(237) 评论(0) 推荐(0) 编辑
摘要: 【注意事项】 测试不同的数据前,需要清空之前的测试的旧数据 连接postgressql,清空每个表的数据 连接hive,清空每个表的数据 【总结】 生成数据:使用多个磁盘,共同生成500GB数据,生成数据放在后台执行,避免中断 写s3数据:每个磁盘,均修改mys3中脚本,由customer_4_4. 阅读全文
posted @ 2021-11-23 16:02 Syw_文 阅读(251) 评论(0) 推荐(0) 编辑
摘要: 【查询】 TPC-DS的查询SQL存放路径:(为自己方便,将查询、写入脚本放在同一目录下) cd /root/trino/tpcds-kit/TpcdsData/script/sample-queries 记得要把sample-queries文件上传到此处 方式一:在数据库中验证查询sql【验证SQ 阅读全文
posted @ 2021-11-23 15:55 Syw_文 阅读(553) 评论(0) 推荐(0) 编辑
摘要: 1、安装与配置 下载安装包 git clone https://github.com/gregrahn/tpcds-kit.git cd tpcds-kit/tools make OS=LINUX 存放的位置为:/root/trino (备注:自己定义即可,尽量与trino-server-363放在 阅读全文
posted @ 2021-11-23 15:20 Syw_文 阅读(441) 评论(0) 推荐(0) 编辑
摘要: 总体过程 1、安装hadoop-3.2.0 2、安装hive-standalone-metastore-3.0.0 3、配置环境变量 安装hadoop-3.2.0 下载hadoop的链接,选择hadoop3.2.0:https://archive.apache.org/dist/hadoop/com 阅读全文
posted @ 2021-11-23 15:15 Syw_文 阅读(529) 评论(0) 推荐(0) 编辑
摘要: 环境要求 Mac OS X 或 Linux jdk11.0.11到12版本之间 Python 2.6.x, 2.7.x, or 3.x 环境信息(不用关注) 服务器配置 IP地址 用户名/密码 Cpu/Mem 系统盘 网卡 普通磁盘(HDD) 高性能磁盘(SSD) 节点数量 10.201.0.122 阅读全文
posted @ 2021-11-23 14:56 Syw_文 阅读(593) 评论(0) 推荐(0) 编辑
摘要: 测试场景: TPC-DS介绍 TPC-DS是一个面向决策支持系统(decision support system)的包含多维度常规应用模型的决策支持基准,包括查询(queries)与数据维护。此基准对被测系统(System Under Test’s, SUT)在决策支持系统层面上的表现进行的评估具有 阅读全文
posted @ 2021-11-23 14:48 Syw_文 阅读(476) 评论(0) 推荐(0) 编辑