摘要: 有一个txt的中英文语料库文件,内容是英文一句中文一句相间的,共3000行,需要把英文句和中文句分开,放在单独的txt文件中。开时始,得到的中文文件中的字符是乱码的,鸟符号看的头晕。于是就细究streamreader读取的编码格式,默认的编码是ascii,单字节的,就尝试utf8,乱码;尝试gb2312,OK!可另一个问题又出现了,得到的两个文件的行数都不到1500行,尝试N次还是不行,很郁闷。g... 阅读全文
posted @ 2010-12-02 17:28 清流鱼 阅读(2558) 评论(0) 推荐(0) 编辑