zyl910

优化技巧、硬件体系、图像处理、图形学、游戏编程、国际化与文本信息处理。

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

作者:zyl910

  C++标准为C++标准IO库设计了十分完善的国际化文本处理机制。但在实际使用中,却发现各种编译器对它的支持性存在较大的差异,很多时候无法正确的输出字符。于是我对此进行了深入的调查。


一、说明

1.1 测试程序

  下面有一段很简单的程序,分别利用cout、wcout、printf输出字符串。具体代码为——

#include <stdio.h>
#include <locale.h>
#include <wchar.h>

#include <string>
#include <iostream>

using namespace std;


const char* psa = "A汉字ABC";
const wchar_t* psw = L"W汉字ABC";

int main(int argc, char* argv[])
{
    // init.
    //ios::sync_with_stdio(false);    // Linux gcc.
    locale::global(locale(""));
    //setlocale(LC_CTYPE, "");    // MinGW gcc.
    wcout.imbue(locale(""));

    // C++
    cout << psa;    cout.clear();    cout<<endl;
    wcout << psw;    wcout.clear();    wcout<<endl;

    // C
    printf("\nC:\n");
    printf("\t%s\n", psa);
    printf("\t%ls\n", psw);

    return 0;
}

 


  大家猜一猜这段程序的运行结果是什么?


1.2 理论结果

  先根据C++标准,分析一下这段程序的理论结果。

  在main函数中,首先执行了这两行代码对地区环境进行了初始化——

    locale::global(locale(""));
    wcout.imbue(locale(""));

 

  细节解释——
1. locale(""):调用构造函数创建一个local,其中的空字符串具有特殊含义:使用客户环境中缺省的locale(《C++标准程序库—自修教程与参考手册》P697)。例如在简体中文系统上,会返回简体中文的locale。
2. locale::global(locale("")):将“C++标准IO库的全局locale”设为“客户环境中缺省的locale”。注意它还会设置C标准库的locale环境,造成与“setlocale(LC_ALL, "")”类似的效果(《C++标准程序库—自修教程与参考手册》P698)。
3. wcout.imbue(locale("")):使wcout使用“客户环境中缺省的locale”。

  就这样,使C标准库、C++标准IO库(尤其是wcout)均正确的设置了地区环境,与客户环境中缺省环境完全匹配。

  随后,使用C++标准IO库的cout、wcout分别输出窄字符串和宽字符串——

    // C++
    cout << psa;    cout.clear();    cout<<endl;
    wcout << psw;    wcout.clear();    wcout<<endl;

 

  细节解释——
1. 调用cout、wcout的clear成员函数是为了清除错误状态,使后续输出能正常运行。
2. 使用“cout<<endl”或“wcout<<endl”时,不仅会使输出文本换行,而且还会执行flush成员函数,提交缓冲区中的数据。使得cout、wcout的输出文本不会发生冲突。

  最后,使用C标准库的printf函数输出窄字符串和宽字符串——

    // C
    printf("\nC:\n");
    printf("\t%s\n", psa);
    printf("\t%ls\n", psw);

 

  所以,测试程序的运行结果应当为——

A汉字ABC
W汉字ABC

C:
    A汉字ABC
    W汉字ABC

 

  注意为了更好区分C++标准IO库与C标准库的输出结果,这里给printf加了个TAB字符。


二、测试VC2005

  因VC2005是VC系列中第一个对C++03标准支持性较好的编译器,先来测测它。


2.1 Debug版

  在VC2005中以Debug模式编译测试程序,执行结果为——

A
W

C:
    A汉字ABC
    W汉字ABC

 

  可见C++的cout、wcout均无法正常输出中文字符。
  而C的printf都能正常输出含中文字符的窄字符串与宽字符串。


2.2 Release版

  将编译配置改为“Release”模式,再编译运行,神奇的事情发生了。执行结果为——

A汉字ABC
W汉字ABC

C:
    A汉字ABC
    W汉字ABC

 

  Release版下全部通过,cout、wcout、printf均能正常输出。


三、测试VC2008及更高版本的VC

  在VC2008中编译测试程序,执行结果为——

A汉字ABC
W汉字ABC

C:
    A汉字ABC
    W汉字ABC

 

  全部通过,cout、wcout、printf均能正常输出。然后测试了Release版,也是全部通过。看来VC2005的Bug已经被修正了。
  随后又测试了VC2010、VC2012,均是全部通过。


四、测试Windows中的MinGW

4.1 测试

  使用GCC 4.6.2(MinGW(20120426))编译测试程序,执行结果为——

A汉字ABC
W

C:
    A汉字ABC
    W

 

  窄字符串都能正常输出,但宽字符串都不能正常输出。


4.2 修改代码,使MinGW能正常显示

  将初始化代码增加一行——

    // init.
    locale::global(locale(""));
    setlocale(LC_CTYPE, "");    // MinGW gcc.
    wcout.imbue(locale(""));

 

  再用MinGW编译运行,执行结果为——

A汉字ABC
W汉字ABC

C:
    A汉字ABC
    W汉字ABC

 

  全部通过了,cout、wcout、printf均能正常输出。看来MinGW中的“locale::global(locale(""))”不会设置“setlocale(LC_ALL, "")”,必须手动调用。
  用VC2008编译刚才修改后的代码,也是全部通过。多调用一次“setlocale(LC_ALL, "")”并不会造成破坏。


五、测试Linux下的gcc

5.1 测试

  使用Linxu中的GCC编译测试程序,执行结果为——

A汉字ABC
WIWABC

C:
    A汉字ABC
    W汉字ABC

 

  cout、printf均能正常输出,但wcout不能正常输出。


5.2 修改代码,使Linux下能正常显示

  将初始化代码增加一行——

    // init.
    ios::sync_with_stdio(false);    // Linux gcc.
    locale::global(locale(""));
    wcout.imbue(locale(""));

 

 

  再用gcc编译运行,执行结果为——

A汉字ABC
W汉字ABC

C:
    A汉字ABC
    W汉字ABC

 

  全部通过了,cout、wcout、printf均能正常输出。


5.3 第2次修改代码,使MinGW能正常显示

  切换回Windows,使用MinGW编译刚才修改后的代码,执行结果为——

A汉字ABC

C:
    A汉字ABC
    W

 

  宽字符串又不能正常显示了。
  根据上次的经验,将初始化代码增加“setlocale”——

    // init.
    ios::sync_with_stdio(false);    // Linux gcc.
    locale::global(locale(""));
    setlocale(LC_CTYPE, "");    // MinGW gcc.
    wcout.imbue(locale(""));

 

  再用MinGW编译运行,执行结果为——

A汉字ABC
W汉字ABC

C:
    A汉字ABC
    W汉字ABC

 

  终于全部通过了。


5.4 在Linux中测试第2次修改代码

  在Linux中测试第2次修改代码,全部通过。

  再用VC2008编译刚才修改后的代码,也是全部通过。

  看来终于找到VC、MinGW、Linux下均有效的初始化方法了。可惜“ios::sync_with_stdio(false)”禁用同步后需要手动进行同步,会造成某些旧代码工作不正常,该方法实用性不大。


六、测试Mac OSX下的gcc

  使用Linxu中的GCC编译测试程序,执行结果为——

  这么简单的程序,居然运行时报错了。这是什么原因呢?
  用gdb调试该程序。r运行,where显示调用栈,list显示源码——

  可以看出,是在执行“locale("")”时报错的。
  “locale("")”不是C++标准中规定的吗,怎么连它都会报错?
  在网上搜索了一下,发现有人查过mac下的gcc源码,它在注释中明确写了"Currently, the generic model only supports the "C" locale."——
http://stackoverflow.com/questions/1745045/stdlocale-breakage-on-macos-10-6-with-lang-en-us-utf-8
std::locale breakage on MacOS 10.6 with LANG=en_US.UTF-8


七、总结

  虽然C++标准的设想十分完善,可惜各种编译器的实现程度存在不少差异。甚至某些平台上连“locale("")”都不支持。
  为了保证跨平台,慎用C++标准IO库,最好尽可能的使用兼容性非常好的C标准库。

 

参考文献——
《ISO/IEC 9899:1999》(C99). ISO/IEC,1999. www.open-std.org/jtc1/sc22/wg14/www/docs/n1124.pdf
《C++ International Standard - ISO IEC 14882 Second edition 2003》(C++03). ISO/IEC,2003-10-15.
《C++标准程序库—自修教程与参考手册》. Nicolai M.Josuttis 著,侯捷、孟岩 译. 华中科技大学出版社,2002-09.
《std::locale breakage on MacOS 10.6 with LANG=en_US.UTF-8》. http://stackoverflow.com/questions/1745045/stdlocale-breakage-on-macos-10-6-with-lang-en-us-utf-8
《[C] 跨平台使用TCHAR——让Linux等平台也支持tchar.h,解决跨平台时的格式控制字符问题,多国语言的同时显示》. http://www.cnblogs.com/zyl910/archive/2013/01/17/tcharall.html

 


源码下载——
https://files.cnblogs.com/zyl910/wchar_crtbug.rar

posted on 2013-01-20 11:35  zyl910  阅读(38267)  评论(2编辑  收藏  举报