C#读取中文字符及清空缓冲区

有一个txt的中英文语料库文件,内容是英文一句中文一句相间的,共3000行,需要把英文句和中文句分开,放在单独的txt文件中。开时始,得到的中文文件中的字符是乱码的,鸟符号看的头晕。于是就细究streamreader读取的编码格式,默认的编码是ascii,单字节的,就尝试utf8,乱码;尝试gb2312,OK!

可另一个问题又出现了,得到的两个文件的行数都不到1500行,尝试N次还是不行,很郁闷。google了下,看到try catch,就想到释放缓冲区,结果很HAPPY!

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
private static void FnFileProcess()
        {
            StreamReader reader = new StreamReader(@"d:\1500.txt", Encoding.GetEncoding("GB2312"));
            StreamWriter writerEn = new StreamWriter(@"d:\English.txt", false, Encoding.UTF8, 1024);
            StreamWriter writerCh = new StreamWriter(@"d:\Chinese.txt", false, Encoding.UTF8, 1024);
            try
            {
                int i = 1;
                for (String line = reader.ReadLine(); line != null; line = reader.ReadLine())
                {
                    if (i % 2 == 1)
                    {
                        writerEn.WriteLine(line);
                    }
                    else
                    {
                        writerCh.WriteLine(line);
                    }
                    i++;
                }
                Console.WriteLine(i + "\tOK");
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.ToString());
            }
            finally
            {
                //不清空缓冲区,得到的文件总是少几十行
                writerEn.Flush();
                writerCh.Flush();
            }
        }
posted @   清流鱼  阅读(2571)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
阅读排行:
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端
· AI Agent开发,如何调用三方的API Function,是通过提示词来发起调用的吗
点击右上角即可分享
微信分享提示