StreamReader的缓冲区大小不够,导致上传的文件只处理了一部分

截取原始代码的一部分

复制代码
    StreamReader sr = new System.IO.StreamReader(stream, encoding);
                    //sr.DiscardBufferedData();

                    int TotalCount = 0;

                    using (sr)
                    {

                        int line = 0;
                        while (sr.Peek() > 0)
                        {
                            ++line;
                            
                                string temp = sr.ReadLine();
复制代码


stream是上传的文件流

文件是csv格式,我是分批处理了。文件总共2万行,每次处理1千行。文件大小716KB。

在vs中调试的时候正常,但是发布到IIS后,每次处理了2千行后崩溃。后来每次处理200行,500行,1500行都是在2000行附近崩溃。

初步判断堆栈溢出类似问题。

后来查了系统日志,报告ReadLine方法内部“尝试读取的文件已经关闭”。

后来改成:

 StreamReader sr = new System.IO.StreamReader(stream, encoding,true,256*1024);

发现大概到7千行时停止。那么问题就出在这里。

现在这样写:

 StreamReader sr = new System.IO.StreamReader(stream, encoding,true,Convert.ToInt32( stream.Length));

可以把文件读完。

弊端就是文件长度不能超过Int32.MaxValue个字节。

 

另外发现一个以前困扰我的问题:

背景线程与普通线程的区别:就是背景线程发生异常不影响主线程。实际测试发现。

posted @   二师弟tl  阅读(1847)  评论(0编辑  收藏  举报
编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?
点击右上角即可分享
微信分享提示