【开发心得】数据比对，数据库底量处理，数据迁移技巧

数据比对技巧

       场景1:与其他产商的系统对接的时候，往往因为字段不匹配，或者网络问题，或者线程池满载等，导致一些数据未能正常入库，仅靠流水表有的时候并不能完全确定所有的数据问题。

       处理方案:
        1.从厂商那里拿到出库数据表，可以导成csv或者excel.（页面导出或者数据库导出都行）

        2.从本系统导出数据，同样是csv或者excel.

        3.虽然双方数据库可能有所差异，但是应该有共通列，这个时候可以将共同列数据放在同一个excel中。

找两个空列，使用countif函数，如

      countif(B:B,E1)

然后，按住ctrl 拉单元格右下角的+号，使得整列都出现统计值。可以弄两列，分别对比。其中B:B 代码数据区域，根据你要对比的数据进行选择，我这里选择的是B整个列，E1是要统计对比的值，解释下就是 “央视新闻联播”这条数据，是否在B这列出现过，

0代表没有，非0代表出现的次数。

         

     
 

 

数据库底量数据处理

          我们常常要对底量数据进行处理，那么，我们需要拼接语句(不借助编写后端或者脚本代码的情况下实现)，我们可以直接在navicat之类的可视化工具中，进行sql编写，其实，如果有大量重复的语句，我们可以写一行 insert  into xxx (xx,xx,xx,xx) values(xx,xx,xx,xx)，让values那些值成为从源数据库中导出的字段，然后拼接引号和逗号，由于excel的半角引号有特殊用处可以加个转义符，或者特殊符号，到时候拿到navicat中替换。

 

数据迁移技巧

1.可以借助导出csv，编写存储过程处理。