mysql数据库的批量数据导入与导出,性能提升。
少量数据批量导入:
1. 先从数据库把唯一键的值查询出来,放在列表
2. 将导入的数据遍历取出,看是否存在列表中,若不在,说明数据库没有。
3. 定义两个空列表,一个做为插入数据,一个做为更新数据
4. 步骤2中判断当前数据记录是否在在数据库中,不在则加入到插入的列表中,否则是更新的列表中,可以是判断列表的大小,建议每两三千条导入数据一次。
几十或是百万级数据导入:
1. 使用pandas读取excel表格数据,过滤去重等。
导入的数据避免与数据库的重复。
2. 导入时,先不做校验,先把导入到数据库的数据临时存放,加个临时值赋值给某个字段。
3. 删除历史重复的数据,使用内关联,自关联。
4. 再把导入的最新数据改为有效状态。