C#读取中文字符及清空缓冲区
有一个txt的中英文语料库文件,内容是英文一句中文一句相间的,共3000行,需要把英文句和中文句分开,放在单独的txt文件中。开时始,得到的中文文件中的字符是乱码的,鸟符号看的头晕。于是就细究streamreader读取的编码格式,默认的编码是ascii,单字节的,就尝试utf8,乱码;尝试gb2312,OK!
可另一个问题又出现了,得到的两个文件的行数都不到1500行,尝试N次还是不行,很郁闷。google了下,看到try catch,就想到释放缓冲区,结果很HAPPY!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 | private static void FnFileProcess() { StreamReader reader = new StreamReader( @"d:\1500.txt" , Encoding.GetEncoding( "GB2312" )); StreamWriter writerEn = new StreamWriter( @"d:\English.txt" , false , Encoding.UTF8, 1024); StreamWriter writerCh = new StreamWriter( @"d:\Chinese.txt" , false , Encoding.UTF8, 1024); try { int i = 1; for (String line = reader.ReadLine(); line != null ; line = reader.ReadLine()) { if (i % 2 == 1) { writerEn.WriteLine(line); } else { writerCh.WriteLine(line); } i++; } Console.WriteLine(i + "\tOK" ); } catch (Exception ex) { Console.WriteLine(ex.ToString()); } finally { //不清空缓冲区,得到的文件总是少几十行 writerEn.Flush(); writerCh.Flush(); } } |
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端
· AI Agent开发,如何调用三方的API Function,是通过提示词来发起调用的吗