随笔分类 - TPC-DS性能测试
主要针对数据类的性能测试介绍
摘要:下载TPC-DS的安装包 1、【方法一】官网下载链接如下 https://www.tpc.org/tpc_documents_current_versions/current_specifications5.asp 2、【方法二】利用下面的链接进行下载(我自己注册后获取到的下载地址,有些电脑上在下载
阅读全文
摘要:TPC-DS是一个面向决策支持系统的包含多维度常规应用模型的决策支持基准,它对决策支持系统的几个普遍适用方面进行建模,包括查询和数据维护。TPC基准测试的目的是为行业用户提供相关、客观的性能数据。TPC-DS使大数据系统等新兴技术能够执行基准测试。 这个基准测试有以下几个主要特点: 采用星型、雪花型
阅读全文
摘要:用途:tpc-ds利用dbgen生成的数据,有些数据中有| |,之间是没有数据的,若直接导入到创建的表中,会提示失败,因此,在写入数据前,要先对生成的数据进行处理 处理数据脚本存放的目录(可以自定义的存放,按照自己存放的目录,要修改脚本),此时我将处理数据的脚本与生成的数据放在了同一目录下 脚本内容
阅读全文
摘要:对应TPC-DS官方文档的部分如下 -- view table,执行的建视图SQL如下 create table if not exists t_crv( cr_returned_date_sk bigint, cr_returned_time_sk bigint, cr_item_sk bigin
阅读全文
摘要:对应的TPC-DS中的内容如下: 重要:DF_CS中的删除catalog订单信息、删除catalog退单信息的between '1900-01-02' and '1901-02-01的时间要给定一致,因为他们属于一组,所以时间必须给定一致。(其他的同理) 执行的SQL如下 -- DF_CS-- 删除
阅读全文
摘要:主要对应TPC-DS中的内容如下 注意:执行如下SQL的前提条件。视图已经创建完成,也就是View Name的crv等 执行的SQL如下 -- LF_CRinsert into catalog_returns ( cr_returned_date_sk , cr_returned_time_sk ,
阅读全文
摘要:对应的是TPC-DS文档中的 建表SQL如下 -- s_purchase_lineitemcreate table if not exists s_purchase_lineitem( plin_purchase_id bigint not null, plin_line_number bigint
阅读全文
摘要:*注:想要快速查看某个表的建表SQL,【苹果电脑】直接按Command+F进行搜索 其中包括7张业务数据的事实表,17张业务数据的维度表,还有1张TPC-DS的系统表(与性能测试无关) -- 事实表 create table if not exists catalog_returns( cr_ret
阅读全文
摘要:备注:如果想直接查看某个query的查询SQL时,【苹果电脑】直接按Command+F -- start query 1 in stream 0 using template query1.tplwith customer_total_return as(select sr_customer_sk
阅读全文
摘要:测试脚本 数据加载测试的SQL语句存放目录:tpcds-3.2.0/tools/tpcds.sql 查询的99条SQL的存放目录:/home/tpcds-tool/tpcds-3.2.0/query_templates(注:是99条SQL的介绍,里面的参数要进行修改) 更新维护测试的SQL存放目录:
阅读全文
摘要:查询SQL SQL意义 query 1 查找退回商品的次数比某一年某一特定州,某一商店的平均退货次数多20%以上的客户 query 2 报告每周网络和目录销售增长的比例,从一年到下一年的每一周。即计算星期一、星期二、…从一年后的周日销售 query 3 报告一个特定制造商在一年的特定月份的所有销售中
阅读全文
摘要:TPC-DS测试会生成25张表,其中包括7张业务数据的事实表,17张业务数据的维度表,还有1张TPC-DS的系统表(与性能测试无关) 表类型 表名称 说明 事实表 catalog_sales 通过catalog渠道销售商品的订单信息 catalog_returns 通过catalog渠道销售商品的退
阅读全文
摘要:问题一:./trino --server 10.201.0.125:8080 --catalog postgresql --schema public链接pg,执行show tables报错 解决:启动start-metastore /opt/hive-metastore/bin/start-met
阅读全文
摘要:1、表在1G与500G数据量下各自的行数情况统计 2、各张表在1G和500G情况下的写入时间统计汇总 2、各张表在1G和500G情况下的查询时间统计汇总
阅读全文
摘要:cd /root/trino/trino-server-363/ ./trino --server 10.201.0.125:8080 --catalog hive --schema tpcds -f /root/trino/tpcds-kit/TpcdsData/script/insert_dat
阅读全文
摘要:【注意事项】 测试不同的数据前,需要清空之前的测试的旧数据 连接postgressql,清空每个表的数据 连接hive,清空每个表的数据 【总结】 生成数据:使用多个磁盘,共同生成500GB数据,生成数据放在后台执行,避免中断 写s3数据:每个磁盘,均修改mys3中脚本,由customer_4_4.
阅读全文
摘要:【查询】 TPC-DS的查询SQL存放路径:(为自己方便,将查询、写入脚本放在同一目录下) cd /root/trino/tpcds-kit/TpcdsData/script/sample-queries 记得要把sample-queries文件上传到此处 方式一:在数据库中验证查询sql【验证SQ
阅读全文
摘要:1、安装与配置 下载安装包 git clone https://github.com/gregrahn/tpcds-kit.git cd tpcds-kit/tools make OS=LINUX 存放的位置为:/root/trino (备注:自己定义即可,尽量与trino-server-363放在
阅读全文
摘要:总体过程 1、安装hadoop-3.2.0 2、安装hive-standalone-metastore-3.0.0 3、配置环境变量 安装hadoop-3.2.0 下载hadoop的链接,选择hadoop3.2.0:https://archive.apache.org/dist/hadoop/com
阅读全文
摘要:环境要求 Mac OS X 或 Linux jdk11.0.11到12版本之间 Python 2.6.x, 2.7.x, or 3.x 环境信息(不用关注) 服务器配置 IP地址 用户名/密码 Cpu/Mem 系统盘 网卡 普通磁盘(HDD) 高性能磁盘(SSD) 节点数量 10.201.0.122
阅读全文