使用PostgreSql的Copy功能来导入增量数据的步骤
一、参照原数据表创建临时表
CREATE TEMP TABLE temp_testbulkcopy ON COMMIT DROP as (select * from testbulkcopy limit 0);
1、temp_testbulkcopy 为临时表的表名
2、testbulkcopy 为实际数据表的表名
3、ON COMMIT DROP 表示用完这次就自动删掉
二、把数据通过Copy的方式导入到临时表里
COPY temp_testbulkcopy FROM 'C:\data\testOutPut.csv' WITH csv header DELIMITER '|' encoding 'UTF8';
三、根据主键删除实际表与临时重复的数据(有重复证明就有更新)
delete FROM testbulkcopy where "ID" in (select "ID" from temp_testbulkcopy);
四、把临时表的数据插入到实际表中
INSERT INTO testbulkcopy select * from temp_testbulkcopy;
附录:
1、用来演示的表的建表语句:
CREATE TABLE public.testbulkcopy ( "ID" character varying(38) COLLATE pg_catalog."default" NOT NULL, "NAME" character varying(255) COLLATE pg_catalog."default", "CITY" character varying(255) COLLATE pg_catalog."default" )
2、测试数据
ID|NAME|CITY bedf812f-2311-4717-a749-8b1272fc3c86|张三|北京 bedf812f-2311-4717-a749-8b1272fc3c87|张三|北京 bedf812f-2311-4717-a749-8b1272fc3c88|张三|北京 bedf812f-2311-4717-a749-8b1272fc3c89|张三|北京 bedf812f-2311-4717-a749-8b1272fc3c81|张三|北京 bedf812f-2311-4717-a749-8b1272fc3c82|张三|北京 bedf812f-2311-4717-a749-8b1272fc3c83|张三|北京
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?