作者:zyl910
C++标准为C++标准IO库设计了十分完善的国际化文本处理机制。但在实际使用中,却发现各种编译器对它的支持性存在较大的差异,很多时候无法正确的输出字符。于是我对此进行了深入的调查。
一、说明
1.1 测试程序
下面有一段很简单的程序,分别利用cout、wcout、printf输出字符串。具体代码为——
#include <stdio.h> #include <locale.h> #include <wchar.h> #include <string> #include <iostream> using namespace std; const char* psa = "A汉字ABC"; const wchar_t* psw = L"W汉字ABC"; int main(int argc, char* argv[]) { // init. //ios::sync_with_stdio(false); // Linux gcc. locale::global(locale("")); //setlocale(LC_CTYPE, ""); // MinGW gcc. wcout.imbue(locale("")); // C++ cout << psa; cout.clear(); cout<<endl; wcout << psw; wcout.clear(); wcout<<endl; // C printf("\nC:\n"); printf("\t%s\n", psa); printf("\t%ls\n", psw); return 0; }
大家猜一猜这段程序的运行结果是什么?
1.2 理论结果
先根据C++标准,分析一下这段程序的理论结果。
在main函数中,首先执行了这两行代码对地区环境进行了初始化——
locale::global(locale("")); wcout.imbue(locale(""));
细节解释——
1. locale(""):调用构造函数创建一个local,其中的空字符串具有特殊含义:使用客户环境中缺省的locale(《C++标准程序库—自修教程与参考手册》P697)。例如在简体中文系统上,会返回简体中文的locale。
2. locale::global(locale("")):将“C++标准IO库的全局locale”设为“客户环境中缺省的locale”。注意它还会设置C标准库的locale环境,造成与“setlocale(LC_ALL, "")”类似的效果(《C++标准程序库—自修教程与参考手册》P698)。
3. wcout.imbue(locale("")):使wcout使用“客户环境中缺省的locale”。
就这样,使C标准库、C++标准IO库(尤其是wcout)均正确的设置了地区环境,与客户环境中缺省环境完全匹配。
随后,使用C++标准IO库的cout、wcout分别输出窄字符串和宽字符串——
// C++ cout << psa; cout.clear(); cout<<endl; wcout << psw; wcout.clear(); wcout<<endl;
细节解释——
1. 调用cout、wcout的clear成员函数是为了清除错误状态,使后续输出能正常运行。
2. 使用“cout<<endl”或“wcout<<endl”时,不仅会使输出文本换行,而且还会执行flush成员函数,提交缓冲区中的数据。使得cout、wcout的输出文本不会发生冲突。
最后,使用C标准库的printf函数输出窄字符串和宽字符串——
// C printf("\nC:\n"); printf("\t%s\n", psa); printf("\t%ls\n", psw);
所以,测试程序的运行结果应当为——
A汉字ABC
W汉字ABC
C:
A汉字ABC
W汉字ABC
注意为了更好区分C++标准IO库与C标准库的输出结果,这里给printf加了个TAB字符。
二、测试VC2005
因VC2005是VC系列中第一个对C++03标准支持性较好的编译器,先来测测它。
2.1 Debug版
在VC2005中以Debug模式编译测试程序,执行结果为——
A
W
C:
A汉字ABC
W汉字ABC
可见C++的cout、wcout均无法正常输出中文字符。
而C的printf都能正常输出含中文字符的窄字符串与宽字符串。
2.2 Release版
将编译配置改为“Release”模式,再编译运行,神奇的事情发生了。执行结果为——
A汉字ABC
W汉字ABC
C:
A汉字ABC
W汉字ABC
Release版下全部通过,cout、wcout、printf均能正常输出。
三、测试VC2008及更高版本的VC
在VC2008中编译测试程序,执行结果为——
A汉字ABC
W汉字ABC
C:
A汉字ABC
W汉字ABC
全部通过,cout、wcout、printf均能正常输出。然后测试了Release版,也是全部通过。看来VC2005的Bug已经被修正了。
随后又测试了VC2010、VC2012,均是全部通过。
四、测试Windows中的MinGW
4.1 测试
使用GCC 4.6.2(MinGW(20120426))编译测试程序,执行结果为——
A汉字ABC
W
C:
A汉字ABC
W
窄字符串都能正常输出,但宽字符串都不能正常输出。
4.2 修改代码,使MinGW能正常显示
将初始化代码增加一行——
// init. locale::global(locale("")); setlocale(LC_CTYPE, ""); // MinGW gcc. wcout.imbue(locale(""));
再用MinGW编译运行,执行结果为——
A汉字ABC
W汉字ABC
C:
A汉字ABC
W汉字ABC
全部通过了,cout、wcout、printf均能正常输出。看来MinGW中的“locale::global(locale(""))”不会设置“setlocale(LC_ALL, "")”,必须手动调用。
用VC2008编译刚才修改后的代码,也是全部通过。多调用一次“setlocale(LC_ALL, "")”并不会造成破坏。
五、测试Linux下的gcc
5.1 测试
使用Linxu中的GCC编译测试程序,执行结果为——
A汉字ABC
WIWABC
C:
A汉字ABC
W汉字ABC
cout、printf均能正常输出,但wcout不能正常输出。
5.2 修改代码,使Linux下能正常显示
将初始化代码增加一行——
// init. ios::sync_with_stdio(false); // Linux gcc. locale::global(locale("")); wcout.imbue(locale(""));
再用gcc编译运行,执行结果为——
A汉字ABC
W汉字ABC
C:
A汉字ABC
W汉字ABC
全部通过了,cout、wcout、printf均能正常输出。
5.3 第2次修改代码,使MinGW能正常显示
切换回Windows,使用MinGW编译刚才修改后的代码,执行结果为——
A汉字ABC
C:
A汉字ABC
W
宽字符串又不能正常显示了。
根据上次的经验,将初始化代码增加“setlocale”——
// init. ios::sync_with_stdio(false); // Linux gcc. locale::global(locale("")); setlocale(LC_CTYPE, ""); // MinGW gcc. wcout.imbue(locale(""));
再用MinGW编译运行,执行结果为——
A汉字ABC
W汉字ABC
C:
A汉字ABC
W汉字ABC
终于全部通过了。
5.4 在Linux中测试第2次修改代码
在Linux中测试第2次修改代码,全部通过。
再用VC2008编译刚才修改后的代码,也是全部通过。
看来终于找到VC、MinGW、Linux下均有效的初始化方法了。可惜“ios::sync_with_stdio(false)”禁用同步后需要手动进行同步,会造成某些旧代码工作不正常,该方法实用性不大。
六、测试Mac OSX下的gcc
使用Linxu中的GCC编译测试程序,执行结果为——
这么简单的程序,居然运行时报错了。这是什么原因呢?
用gdb调试该程序。r运行,where显示调用栈,list显示源码——
可以看出,是在执行“locale("")”时报错的。
“locale("")”不是C++标准中规定的吗,怎么连它都会报错?
在网上搜索了一下,发现有人查过mac下的gcc源码,它在注释中明确写了"Currently, the generic model only supports the "C" locale."——
http://stackoverflow.com/questions/1745045/stdlocale-breakage-on-macos-10-6-with-lang-en-us-utf-8
std::locale breakage on MacOS 10.6 with LANG=en_US.UTF-8
七、总结
虽然C++标准的设想十分完善,可惜各种编译器的实现程度存在不少差异。甚至某些平台上连“locale("")”都不支持。
为了保证跨平台,慎用C++标准IO库,最好尽可能的使用兼容性非常好的C标准库。
参考文献——
《ISO/IEC 9899:1999》(C99). ISO/IEC,1999. www.open-std.org/jtc1/sc22/wg14/www/docs/n1124.pdf
《C++ International Standard - ISO IEC 14882 Second edition 2003》(C++03). ISO/IEC,2003-10-15.
《C++标准程序库—自修教程与参考手册》. Nicolai M.Josuttis 著,侯捷、孟岩 译. 华中科技大学出版社,2002-09.
《std::locale breakage on MacOS 10.6 with LANG=en_US.UTF-8》. http://stackoverflow.com/questions/1745045/stdlocale-breakage-on-macos-10-6-with-lang-en-us-utf-8
《[C] 跨平台使用TCHAR——让Linux等平台也支持tchar.h,解决跨平台时的格式控制字符问题,多国语言的同时显示》. http://www.cnblogs.com/zyl910/archive/2013/01/17/tcharall.html