使用PostgreSql的Copy功能来导入增量数据的步骤

一、参照原数据表创建临时表

CREATE TEMP TABLE temp_testbulkcopy ON COMMIT DROP as (select * from testbulkcopy limit 0);

1、temp_testbulkcopy 为临时表的表名

2、testbulkcopy  为实际数据表的表名

3、ON COMMIT DROP 表示用完这次就自动删掉

 

二、把数据通过Copy的方式导入到临时表里 

COPY temp_testbulkcopy FROM 'C:\data\testOutPut.csv' WITH csv header DELIMITER '|' encoding 'UTF8';

 

三、根据主键删除实际表与临时重复的数据(有重复证明就有更新)

delete FROM testbulkcopy where "ID" in (select "ID" from temp_testbulkcopy);

 

四、把临时表的数据插入到实际表中

INSERT INTO testbulkcopy  select * from temp_testbulkcopy;

 

附录:

1、用来演示的表的建表语句:

CREATE TABLE public.testbulkcopy
(
    "ID" character varying(38) COLLATE pg_catalog."default" NOT NULL,
    "NAME" character varying(255) COLLATE pg_catalog."default",
    "CITY" character varying(255) COLLATE pg_catalog."default"
)

2、测试数据

ID|NAME|CITY
bedf812f-2311-4717-a749-8b1272fc3c86|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c87|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c88|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c89|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c81|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c82|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c83|张三|北京

 

posted @   星星c#  阅读(1403)  评论(0编辑  收藏  举报
编辑推荐:
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
点击右上角即可分享
微信分享提示