读写Unicode字符串(UTF8,UTF16…)

写UTF-16字符串：

 

    class TestDataGenerator 
    { 
        public static void CreateNewTestDataFile(string FileName, int record_length) 
        { 
            using (FileStream fs = File.Create(FileName)) 
            { 
                StringBuilder sb = new StringBuilder(); 
                for (int i = 0; i < record_length; i++) 
                { 
                    sb.Append('的'); 
                } 
                byte[] content = Encoding.Unicode.GetBytes(sb.ToString()); 
                fs.Write(content, 0, content.Length); 
            } 
        } 
    }

 

高亮的那句话用于把string编码为UTF-16字节流。

 

调用该函数生成包含100个字符的测试文件：

TestDataGenerator.CreateNewTestDataFile("test.txt", 100);

 

 

可以看到文件大小为200字节。原因是UTF-16使用2个字节来存储包括汉字在内的非ASCII字符

 

读取Unicode字符串：

 

            FileStream fs = new System.IO.FileStream("test.txt", FileMode.Open, FileAccess.Read);
            byte[] blob = new byte[100];
            fs.Read(blob, 0, 100);
            fs.Flush();
            string strUtf16 = Encoding.Unicode.GetString(blob);
            string strUtf8 = Encoding.UTF8.GetString(blob);

 

从Watch窗口可见, 将字符串强转为UTF-8形式会出现乱码，这是因为UTF-8标准使用3个字节来存储汉字等字符，而不是UTF-16的2个字节。

 

 

尝试使用UTF-8编码存储字符： 

            byte[] content = Encoding.UTF8.GetBytes(sb.ToString()); 
            fs.Write(content, 0, content.Length);

 

 

刷新后查看文件属性可见文件大小变为300字节：

 

 

同理，读取时将UTF-8字符强转为UTF-16也是不行的, strUtf16显示为乱码：