Web Service 接口大量数据传输解决方案

就管他叫“使用多线程分段获取大量数据方法”吧。假定我们的需求是,通过Web Service获取10W条订单,我的解决方案是 分成10个线程每个线程传输1W条订单分段获取,具体请看下面的流程图及其说明

1,流程图

2,流程说明:
线程1开始请求接口获取1W条数据,当数据成功获取后,接口是闲置的,这时我们开始线程2获取数据,同时线程1继续执行获取数据的后续工作,如果转换数据,这里我用的办法是,使用预先定义的实体对象格式 反序列化XML (据说这种方式比遍历XML或是载入到DataSet中循环 读取都要高效的,具体我没有测试过 ,哈哈)将数据插入到数据后停止线程1。使用这样线程循环的办法处理所有线程读取数据。

 

posted @   ejiyuan  阅读(6882)  评论(11编辑  收藏  举报
编辑推荐:
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· 展开说说关于C#中ORM框架的用法!
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
历史上的今天:
2007-04-02 javascript的函数(转)
点击右上角即可分享
微信分享提示