std::wstring_convert处理UTF8
#include <iostream>
#include <string>
#include <locale>
#include <codecvt>
#include <fstream>
int main(int argc, char *argv[])
{
std::wstring str = L"123,我是谁？我爱钓鱼岛！";
std::wstring_convert<std::codecvt_utf8<wchar_t>> conv;
std::string narrowStr = conv.to_bytes(str);
{
std::ofstream ofs ("c:\\test.txt");
ofs << narrowStr;
}
std::wstring wideStr = conv.from_bytes(narrowStr);
{
std::locale::global(std::locale("Chinese-simplified"));
std::wofstream ofs (L"c:\\testW.txt");
ofs << wideStr;
}
｝
http://zh.cppreference.com/w/cpp/locale/codecvt_utf8
以前一直以为标准库的wofstream只能输出MBCS编码的文本文件，今日接触到codecvt后，知道自己完全错了。
研究一上午后，得出以下成果（均为自己读MSDN及实验得出）。注：以下代码及说明以VS2010为准。
先说codecvt头文件（gcc里没找到），这是MSDN的解释：http://msdn.microsoft.com/zh-cn/library/ee292114.aspx
里面包含了三个类：codecvt_utf8、codecvt_utf8_utf16、codecvt_utf16，以及一个枚举类型codecvt_mode。
codecvt是用于不同文字编码转换的一个类，codecvt_utfX继承了这个类，实现了不同编码转换的功能。
codecvt与locale结合使用，实现输出、读取UTF-8及UTF-16编码文本文件。
例如UTF-8：
#include <iostream>
#include <codecvt>
#include <fstream>
#include <string>
int main(void)
{
using namespace std;
auto LocUtf8=locale(locale(""),new codecvt_utf8<wchar_t>);
wofstream wfo(L"Hello.txt");
wfo.imbue(LocUtf8);
wfo << L"这是Utf-8编码的文本文件！";
wfo.close();
wifstream wfi(L"Hello.txt");
wstring wstr;
wfi.imbue(LocUtf8);
wfi >> wstr;
wcout.imbue(locale(""));
wcout << wstr << endl;
system("PAUSE");
}
static auto LocUtf8=locale(locale(""),new codecvt_utf8<wchar_t>);用codecvt_utf8实例化一个静态locale。codecvt_utf8<wchar_t>表示在输入输出时将wchar_t转换为UTF-8编码。至于new，与buffer类似不能析构，delete由locale自动管理。wfo.imbue(LocUtf8);表示wfo在输出文件时使用LocUtf8编码，wfi.imbue(LocUtf8)类似。注意不要使用locale::global，这样会影响到wcout。程序运行后会生成Hello.txt文件，其编码用记事本打开后点另存为，其默认编码为文件编码。
UTF-8是比较特殊的编码格式，识别不需bom。如果将上例的utf8直接改为utf16后运行也有结果，但用记事本打开乱码，UTF-16需要bom头用来识别编码格式。如下：
#include <iostream>
#include <codecvt>
#include <fstream>
#include <string>
int main(void)
{
using namespace std;
auto LocUtf16=locale(locale(""),new codecvt_utf16<wchar_t, 1114111UL, generate_header>);
wofstream wfo(L"Hello.txt");
wfo.imbue(LocUtf16);
wfo << L"这是Utf-16编码的文本文件！";
wfo.close();
wifstream wfi(L"Hello.txt");
wstring wstr;
wfi.imbue(LocUtf16);
wfi >> wstr;
wcout.imbue(locale(""));
wcout << wstr << endl;
system("PAUSE");
}
差别在这句：new codecvt_utf16<wchar_t, 0x10ffff, generate_header>。看看codecvt_utf16的定义：template< class Elem, //需要转换的原编码格式，此为wchar_tunsigned long Maxcode = 0x10ffff, //最大字符数，用处未知，照抄默认codecvt_mode Mode = (codecvt_mode)0 > //一个codecvt_mode枚举类型class codecvt_utf16 : public std::codecvt<Elem, char, StateType>再看codecvt_modeenum codecvt_mode {consume_header = 4, //自动确认bom头，在读取文件时检查。但经过尝试后无效，可能我的用法有误（文字没进来，但多了个换行符）generate_header = 2, //自动输出bom头，在输出文件时检查。little_endian = 1 //使用little endian编码（默认big endian，具体解释查看百科）};多个参数使用|（位或）连接，结果强制转换为codecvt_mode型。例如little endian编码+自动输出bom头的声明如下：new codecvt_utf16<wchar_t, 0x10ffff, codecvt_mode(generate_header | little_endian)>推荐使用默认的big endian编码，little endian输出的换行符是一个方框注意：big endian编码的文件不能用little endian，反之亦然。应该能使用consume_header自动识别，但测试无效。
