读Windows核心编程-2-字符和字符串

（2）字符和字符串处理

字符编码

ANSI为单字节编码，所以最多表示256个符号，这远远不够，因此双字节字符集（double-byte character set, DBCS）应运而生，其原理是当第一个字节在某一范围内时，需要继续检测第二个字节才能确定这两个字节代表什么符号，以日本字为例，首字节在0x81~0x9F或0xE0~0xFC，那么就需要检测下一个字节。这样的话，有的符号一个字节表示，有的是两个字节表示。单单使用strlen也无法确定字符串到底有多少字符，它只告诉你到结尾的0之前有多少个字节。

Unicode标准包含以下几种编码转换格式（Unicode Transformation Format）：

UTF-8：

值在0x0080以下的，压缩为1个字节，适合于美国使用的字符；

0x0080~0x07FF转换为2个字节，适合于欧洲和中东地区的语言；

0x0800以上转换为3个字节，适合于亚洲语言；

代理对（surrogate pair）被写为4个字节。

由于UTF-8对ANSI字符的兼容性，并且在ANSI字符较多的情况下更节省空间，因此比较流行，然后在字符串中存在大量0x0800以上的字符时，UTF-16比较高效；

UTF-16：

    所有字符以2个字节表示，对于2字节还不够的语言使用代理（surrogate）来表示，后者使用4个字节来表达一个字符，但由于只有少数语言才会用到，因而2字节编码方式多数情况下比较高效。Windows内核/COM/.NET都是采用UTF-16编码。

UTF-32：

    每个字符都采用4字节表示，这种方式比较简单，如果只在内存中使用的话，UTF-32是个高效的方式，然后如果保存文件或者网络传输的话，就比较浪费空间了。

ANSI字符和Unicode字符

ANSI字符和字符串：

Char c='A';

Char sz[100]="A String";

Unicode字符和字符串：

Wchar_t c=L'A';

Wcahr_t sz[100]=L"A String"

ANSI和Unicode都能编译：

    #ifdef UNICODE

        #define __TEXT(quote) L##quote

        Typedef WCHAR TCHAR;

        Typedef const WCHAR *PCTSTR;

    #else

        #define __TEXT(quote) quote

        Typedef CHAR TCHAR;

        Typedef const CHAR *PCTSTR;

    #endif

 

    #define TEXT(quote) __TEXT(quote)

    #define _T(quote) __TEXT(quote)

    TCHAR c=_T('A');

    TCHAR sz[100]=_T("A String");

Windows的ANSI和Unicode函数

    Windows API使用UNICODE宏来区分ANSI和Unicode的使用。

自Windows NT起，Windows所用版本都用Unicode来构建，所以所有的核心函数都需要Unicode字符串，然而为了兼容性，SDK为大多数API提供ANSI版本，但ANSI版本只是个转换壳，就是说ANSI版本的API在内部分配缓冲区，并将ANSI字符串转成Unicode，然后调用相应的Unicode版本，并将结果Unicode转回ANSI然后释放缓冲区并返回。

    另外，COM接口只接受Unicode字符串。

    资源（字符串表，对话框模板，菜单等）编译完后都是以Unicode字符串保存，如果程序没有定义UNICODE宏，操作系统将执行内部转换。例如，在实际编译模块的时候，LoadString会变成调用LoadStringA，LoadStringA读取资源中的Unicode字符串，并把它转换成ANSI返回给应用程序。

C运行时的ANSI和Unicode函数

    C运行时使用_UNICODE来区分ANSI和Unicode，比Windows API使用的宏多个下划线。

    C运行时的ANSI和Unicode函数都是"自力更生"，不象Windows API那样，C运行时的ANSI和Unicode版本不会互相调用。

    Strlen()    // ANSI，string.h

    Wcslen()    // Unicode, string.h

 

#ifdef _UNICODE

#define _tcslen    wcslen    // tchar.h

#else

#define _tcslen    strlen    // tchar.h

#endif

    一些修改字符串的C运行时函数存在缓冲溢出的隐患，因此，Microsoft引入了相应的安全字符串函数，例如，应使用_tcscpy_s来替代_tcscpy。更多字符串安全函数见strsafe.h。

    利用_countof宏（定义与stdlib.h）可以计算字符串长度，使用_set_invalid_parameter_handler来注册自定义的失败处理函数，使用_CrtSetReportMode(_CRT_ASSERT, 0)可以禁用Debug Assertion Failed对话框。

    使用*_s系列字符串安全函数在缓冲区不足时，它们只简单的将目标缓冲区置为'\0'，而使用StringCch*和StringCb*系列函数可以在缓冲区截断获得更多的控制。

    CompareString按照字符在LCID所标识的语言中的含义来比较字符串，因此速度慢，适用于需要展示给用户的字符串比较；CompareStringOrdinal按照字符码位比较，速度快，但不考虑区域设置，适用于程序内部的字符串比较。此外这两个函数返回值与C运行时库函数的结果值（-1，0，1）不同：

    0：表示失败；

    CSTR_LESS_THAN = 1;

    CSTR_EQUAL = 2;

    CSTR_GREATER_THAN = 3;

可以将返回值减2来保持一致。

使用Unicode的好处

• Unicode有利于程序本地化；
• 只发布一个二进制文件即可支持所有语言；
• 由于Windows核心API都使用Unicode，因此应用程序使用Unicode可减少转换，提升效率；
• 避免了误用已经弃用的（deprecated）函数，很多已弃用的函数没有提供Unicode版本；
• 轻松与COM, .NET集成；
• 操纵程序自身的资源的效率也得到提升（资源始终是以Unicode保存）。

推荐的字符和字符串处理方式

• 使用使用TCHAR/PTSTR来表示字符和字符串；
• 明确区分字符串（char/wchar_t/TCHAR）和字节串(BYTE)；
• 使用TEXT/_T宏来表示字面量字符和字符串；
• 使用_countof来计算字符串长度，而不是sizeof；
• 分配缓冲区时始终要乘以sizeof(TCHAR);
• UNICODE和_UNICODE要么同时定义，要么都不定义；
• 不使用不安全的字符串函数；
• 不使用Kernel32的字符串方法，如lstrcat和lstrcpy；

ANSI和Unicode字符串转换

ANSI转换到Unicode

    int WINAPI MultiByteToWideChar(

_In_ UINT CodePage,

_In_ DWORD dwFlags,

_In_NLS_string_(cbMultiByte) LPCCH lpMultiByteStr,

_In_ int cbMultiByte,

_Out_writes_to_opt_(cchWideChar, return) LPWSTR lpWideCharStr,

_In_ int cchWideChar

);

 

Unicode转换到ANSI

Int WINAPI WideCharToMultiByte(

_In_ UINT CodePage,

_In_ DWORD dwFlags,

_In_NLS_string_(cchWideChar) LPCWCH lpWideCharStr,

_In_ int cchWideChar,

_Out_writes_bytes_to_opt_(cbMultiByte, return) LPSTR lpMultiByteStr,

_In_ int cbMultiByte,

_In_opt_ LPCCH lpDefaultChar,

_Out_opt_ LPBOOL lpUsedDefaultChar

);

 

判断文本是否为Unicode

BOOL WINAPI IsTextUnicode(

_In_reads_bytes_(iSize) CONST VOID* lpv,

_In_ int iSize,

_Inout_opt_ LPINT lpiResult

);

 

代码示例：

BOOL StringReverseW(PWSTR pW, int cch){

    PWSTR pEnd=pW+wcsnlen_s(pW, cch)-1;

    wchar_t c;

    while(pW<pEnd){

        c=*pW;

        *pW=*pEnd;

        *pEnd=c;

        ++pW;

        --pEnd;

    }

    return TRUE;

}

 

BOOL StringReverseA(PSTR p, int cch){

    PWSTR pW;

    int nLenOfWide;

    BOOL fOK=FALSE;

 

    nLenOfWide=MultiByteToWideChar(CP_ACP, 0, p, -1, NULL, 0);

    pW=(PWSTR)HeapAlloc(GetProcessHeap(), 0, nLenOfWide*sizeof(wchar_t));

    if(NULL==pW)

        return fOK;

    MultiByteToWideChar(CP_ACP, 0, p, cch, pW, nLenOfWide);

    fOK = StringReverseW(pW, nLenOfWide);

    if(fOK){

        WideCharToMultiByte(CP_ACP, 0, pW, nLenOfWide, p, cch, NULL, NULL);

    }

    HeapFree(GetProcessHeap(), 0, pW);

 

    return fOK;

}

 

void test_unicode(){

    std::wcout.imbue(std::locale("chs"));

    wchar_t ws[]=L"I我z";

    int len=_countof(ws)-1;

    int size=sizeof(ws);

    wcout<<(PCTSTR)ws<<endl;

 

    char cs[]="i他Z";

    int clen=_countof(cs)-1;

    int csize=sizeof(cs);

    cout<<cs<<endl;

 

    BOOL bIsUnicode=IsTextUnicode(ws, size, NULL);

    BOOL bCIsUnicode=IsTextUnicode(cs, csize, NULL);

 

    if(StringReverseW(ws,size)){

        wcout<<(PCTSTR)ws<<endl;

    }

 

    if(StringReverseA(cs, csize)){

        cout<<cs<<endl;

    }

}

 

参考：

http://blog.csdn.net/ax614/article/details/6694625

http://www.cnblogs.com/fangyukuan/archive/2010/08/19/1804055.html