数据迁移后，验证数据一致性与准确性的测试方法

需求说明

1、数据从mysql8.0通过datax的方式迁移到atomdata数据库（一款OLAP类型数据库，兼容mysql）

2、mysql8.0表cyry、hjry的数据全部迁移到atomdata中，2张表有关联关系（示例：cyry、hjry可通过name关联）

 

迁移方法

见“datax”迁移数据的方法

• mysql8中创建2张表，并生成要求的数据量行数
• atomdata中创建2张与mysql8相同的表和表结构
• 安装datax，并进行数据同步，且数据均需同步成功
• mysql8和atomdata中分别通过select count(*) from xx验证总表行数
• mysql8和atomdata中验证表结构和表内容均需一致

 

迁移后验证

相同的SQL语句，分别查询mysql和atomdata上执行，并导出查询的结果数据

验证条件一

测试用例：验证SQL

select cy.cy_id,cy.cy_name,hj.hj_id,hj.hj_name from cyry as cy left join hjry as hj on cy.cy_name=hj.hj_name order by cy.cy_id ;

执行结果，在mysql和atomdata 的结果数据是否一致

测试方法：

（1）通过命令，将如上的SQL，分别在mysql和atomdata数据中执行，并将结果进行下载，保存为csv的文件

【命令解读】mysql -h 数据库IP地址 -P 端口 -u 用户名 -p 库名 -e "执行的SQL" >存放路径/xxx.csv

#atomdata
mysql -h 192.168.30.103 -P 3001 -u kepler -p syw_security -e "select cy.cy_id,cy.cy_name,hj.hj_id,hj.hj_name from cyry as cy left join hjry as hj on cy.cy_name=hj.hj_name order by cy.cy_id ; " >/datax/job/atomdata.csv

#mysql8.0
mysql -h 192.168.30.103 -P 3306 -u root -p syw_security -e "select cy.cy_id,cy.cy_name,hj.hj_id,hj.hj_name from cyry as cy left join hjry as hj on cy.cy_name=hj.hj_name order by cy.cy_id ; " >/datax/job/mysql.csv

（2）通过如下命令，查看mysql数据库和atomdata数据的数据均要一致

#安装atomdata数据库的服务器上执行
cat atomdata.csv | sort | uniq -c | wc -l

cat atomdata.csv | wc -l

#安装mysql数据的服务器上执行 
cat mysql.csv | sort | uniq -c | wc -l

cat mysql.csv | wc -l

#mysql与atomdata的数据库放在同一个服务器上，并执行下面的语句
cat mysql.csv atomdata.csv | sort | uniq -c | wc -l

预期结果：

1、测试结果的数据量均要一致，说明数据在迁移的过程中没有出现丢失数据

2、根据自己的情况，编写一些SQL，同一个SQL分别在两个数据库中运行，来验证两个数据库的查询结果必须一致即可。