随笔分类 -  数据库测试

摘要:场景说明 在数据库查询中会常见cold run与hot run,hot run是指将同一个SQL连续运行多遍。 运行脚本创建一个run.sh直接复制如下脚本 - 注意修改数据库的连接IP与密码等- queries2.sql 存放查询的SQL,请将queries2.sql 文件与run.sh放在同一个 阅读全文
posted @ 2023-05-09 20:57 Syw_文 阅读(209) 评论(0) 推荐(0) 编辑
摘要:clickbench官网链接:https://benchmark.clickhouse.com/ 如下采用的数据库为分析型数据库支持MySQL协议,其他所有的数据库操作方法均类似 测试背景 利用clickhouse的clickbench测试数据与查询SQL对AtomData进行了性能测试,所有的测试 阅读全文
posted @ 2023-05-09 20:40 Syw_文 阅读(533) 评论(0) 推荐(0) 编辑
摘要:clickbench官网链接:https://benchmark.clickhouse.com/ 如下的内容讲解将以MySQL与starrocks的结果对比为示例 一、测试配置查看 查看配置链接:https://aws.amazon.com/cn/ec2/instance-types/ (所有的服务 阅读全文
posted @ 2023-05-08 11:56 Syw_文 阅读(227) 评论(0) 推荐(0) 编辑
摘要:MySQL MTR(MySQL Test Run)是 MySQL 数据库测试框架,用于自动化测试 MySQL 数据库系统的功能和性能。MTR 由 MySQL 官方提供,包含了大量的测试用例,可以对 MySQL 数据库系统的各个方面进行测试。可以帮助开发人员和测试人员快速、准确地进行测试,提高 MyS 阅读全文
posted @ 2023-03-28 10:58 Syw_文 阅读(247) 评论(0) 推荐(0) 编辑
摘要:在数据库运行大 SQL 查询时,可以通过以下几个方面来判断是否需要进入队列排队等待,还是进入内核执行运算: (1)查询语句的复杂度:如果 SQL 查询语句非常复杂,包含多个表的联合查询、子查询、聚合函数等,需要对大量数据进行分组、排序、过滤等操作,那么这个 SQL 查询很可能需要进入队列排队等待,等 阅读全文
posted @ 2023-03-28 10:55 Syw_文 阅读(56) 评论(0) 推荐(0) 编辑
摘要:(1)会话控制:分析型数据库会为每个用户分配独立的会话资源,包括内存、CPU时间片等。不同用户之间的会话资源是隔离的,不会相互干扰。会话控制还可以通过会话ID和隔离级别等方式实现。 (2)并发控制:为了避免不同用户之间的资源竞争和冲突,分析型数据库通常会采用锁、事务等机制进行并发控制。通过合理地设置 阅读全文
posted @ 2023-03-27 14:58 Syw_文 阅读(28) 评论(0) 推荐(0) 编辑
摘要:(1)确定测试目标和指标:确定测试的目标和指标,包括查询响应时间、数据加载时间、并发访问量、数据容量等。 (2)确定测试数据:确定测试数据的来源和规模,包括数据量、数据类型、数据结构等。 (3)设计测试方案和用例:设计测试方案和测试用例,包括不同数据查询、数据分析、数据挖掘场景的测试,以及对不同查询 阅读全文
posted @ 2023-03-27 14:57 Syw_文 阅读(75) 评论(0) 推荐(0) 编辑
摘要:保障数据库的测试质量可以从以下几个方面进行: (1)设计合理的测试用例:需要设计合理、全面、准确的测试用例,覆盖数据库的各种功能和场景,包括常规操作、异常操作、性能测试、安全测试等。 (2)自动化测试:可以采用自动化测试的方式,提高测试的效率和准确性,同时可以快速发现和解决问题。 (3)定期回归测试 阅读全文
posted @ 2023-03-27 11:44 Syw_文 阅读(71) 评论(0) 推荐(0) 编辑
摘要:测试的大数据量场景已2T为例进行介绍如下: (1)数据抽样验证:由于数据量非常大,可以采用数据抽样的方式进行验证。从数据集中随机抽取一小部分数据进行测试和验证,以此来推断整个数据集的正确性。 (2)并行计算验证:可以采用并行计算的方式进行验证,将数据集分成多个部分进行计算,然后将结果汇总。这样可以大 阅读全文
posted @ 2023-03-27 11:07 Syw_文 阅读(70) 评论(0) 推荐(0) 编辑
摘要:保障ETL过程的数据正确性可以从以下几个方面考虑: 数据源的质量:ETL过程的数据质量取决于数据源的质量,因此需要对数据源进行充分的验证和清洗,确保数据的准确性、完整性和一致性。 数据转换的准确性:在ETL过程中,数据转换是非常重要的一步,需要确保数据转换的准确性和正确性。可以采用数据验证、数据重复 阅读全文
posted @ 2023-03-27 10:49 Syw_文 阅读(152) 评论(0) 推荐(0) 编辑
摘要:支持insert和批量insert,待研究怎么设置 一、建表 (1)默认表名为usertable CREATE TABLE usertable ( YCSB_KEY VARCHAR(255) PRIMARY KEY, FIELD0 TEXT, FIELD1 TEXT, FIELD2 TEXT, FI 阅读全文
posted @ 2023-03-25 12:12 Syw_文 阅读(370) 评论(0) 推荐(0) 编辑
摘要:一、工具介绍 YCSB 于 2010 年开源,YCSB是雅虎开源的NoSQL测试工具,用java开发实现,通常用来对noSQL数据库进行性能,注意此工具仅支持varchar和text类型,且列的长度可以增加,默认是10列,可以根据自己的需要增加列长。运行一个压力测试需要 6 步: 配置需要测试的数据 阅读全文
posted @ 2023-03-24 14:54 Syw_文 阅读(577) 评论(0) 推荐(0) 编辑
摘要:在平时的数据库性能测试中,我们也需要关注一下服务器所使用的文件系统类型,因此介绍Linux常用的文件系统类型及常见文件系统的特性。 文件系统的主要特点 1、数据可以长期保存在计算机外存上,可以对数据进行反复处理,并支持文件的查询、修改、插入和删除等操作。2、文件系统实现了记录内的结构化,但从文件的整 阅读全文
posted @ 2023-01-10 20:57 Syw_文 阅读(110) 评论(0) 推荐(0) 编辑
摘要:(一)参加项目POC要了解的内容 客户的数据应用于哪些业务场景 客户目前面临的挑战 通过POC,希望达成什么目标 客户有调研过哪些竞品,未选择的原因是什么 产品在客户环境的使用场景 客户的产品发展情况(过去与未来) 客户关注产品的哪些核心价值 不能忍受产品出现什么错误 客户对产品POC的测试方案 产 阅读全文
posted @ 2022-10-25 16:54 Syw_文 阅读(135) 评论(0) 推荐(0) 编辑
摘要:1、创建表且插入数据 create table t1 ( id int, name varchar(100), age int, sex varchar(20), address varchar(100), math int, english int )engine=innodb; insert i 阅读全文
posted @ 2022-08-01 11:06 Syw_文 阅读(72) 评论(0) 推荐(0) 编辑
摘要:注:mariadb的安装文章篇见: mariadb安装完,默认没有密码,在命令行执行运行mariadb即可进入数据库 MariaDB连接Sequel(类似Navicate),会连接Sequel就会连接navicate,两者的连接方式都是一样的 1、进入到mariadb数据库 # mariadb 2、 阅读全文
posted @ 2022-07-28 12:57 Syw_文 阅读(51) 评论(0) 推荐(0) 编辑
摘要:需求:将一个CSV文件按照指定大小进行分割 使用场景:将一个csv的大文件直接写入mysql的表中,若不进行小文件的切割,极大可能会导致写入失败,或者写入的数据出现问题 1、创建一个文件 touch split_file.sh vim split_file.sh 2、添加如下的脚本,不用改任何内容 阅读全文
posted @ 2022-07-27 21:14 Syw_文 阅读(1120) 评论(0) 推荐(0) 编辑
摘要:通过APT安装ColumnStore 注:ubuntu 20.04版本 1、配置APT包存储列 MariaDB ColumnStore5.5在MariaDB Community Server上可用10.5 要配置APT软件包存储库 sudo apt install wget wget https:/ 阅读全文
posted @ 2022-07-27 12:05 Syw_文 阅读(239) 评论(0) 推荐(0) 编辑
摘要:你是不是属于刚入行做数据库的测试,一脸懵逼的茫然,不知道该如何下手?对数据库的基本知识掌握的也不全面?更加不知道该测试什么?身边也没有人指导?......等等之类的问题。那么你最开始需要做什么才能让自己有个起步状态,并且逐渐的明白数据库中有什么,要如何迈出这一步,向下看。 1、了解一个数据库中都包含 阅读全文
posted @ 2022-06-16 11:54 Syw_文 阅读(786) 评论(0) 推荐(0) 编辑
摘要:基础的数据模型是以行和列组成的一张张表。通常行有一个唯一标识 Row Id,且存在有限个字段,字段就是列的值。行数可以达到非常大的量级,而列数通常是有限的。 行式存储就是,数据在存储介质(磁盘 or 内存)上的组织形式,是以行为单位的,即先放第一行所有的数据,再放下一行,这种方式比较符合人的直觉。列 阅读全文
posted @ 2022-06-15 14:38 Syw_文 阅读(828) 评论(0) 推荐(0) 编辑