django批量插入,遇到错误改为逐条插入
为了提升插入数据的效率,通常采用批量插入的方式,当一批数据中有错误数据时,该批次数据报错,都插入失败。如何跳过引起报错的数据,将其他正确的数据插入,实现方式如下代码。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 | data_to_insert = [] for i, data in datas: testDemo = TestDemo() testDemo. ID = data[i]. id testDemo.NAME = data[i].name data_to_insert.append(testDemo) if (i + 1 ) % 1000 = = 0 : try : TestDemo.objects.bulk_create(data_to_insert, batch_size = 1000 ) except Exception as e: # 处理批次插入错误,逐个插入并跳过异常数据 print ( "批次插入数据时出现错误:" , e) for item in data_to_insert: try : item.save() except Exception as e: # 处理逐条插入错误,可以打印错误信息或进行其他操作 print ( "逐条插入数据时出现错误:" , e) data_to_insert.clear() # 处理最后可能剩余的数据 try : TestDemo.objects.bulk_create(data_to_insert, batch_size = 1000 ) except Exception as e: # 处理批次插入错误,逐个插入并跳过异常数据 print ( "批次插入数据时出现错误:" , e) for item in data_to_insert: try : item.save() except Exception as e: # 处理逐条插入错误,可以打印错误信息或进行其他操作 print ( "逐条插入数据时出现错误:" , e) |
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· Docker 太简单,K8s 太复杂?w7panel 让容器管理更轻松!
2023-01-30 java 两个时间类型的参数相减,得到相差的天数