如何判断一个字符串是否是UTF8编码
UTF8是以8bits即1Bytes为编码的最基本单位，当然也可以有基于16bits和32bits的形式，分别称为UTF16和UTF32，但目前用得不多，而UTF8则被广泛应用在文件储存和网络传输中。
编码原理
先看这个模板：
UCS-4 range (hex.) UTF-8 octet sequence (binary)
0000 0000-0000 007F 0xxxxxxx
0000 0080-0000 07FF 110xxxxx 10xxxxxx
0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
0020 0000-03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0400 0000-7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxx
编码步骤：
1) 首先确定需要多少个8bits(octets)
2) 按照上述模板填充每个octets的高位bits
3) 把字符的bits填充至x中，字符顺序：低位→高位，UTF8顺序：最后一个octet的最末位x→第一个octet最高位x
根据UTF8编码,最多可由6个字节组成,所以UTF8是1-6字节编码组成
1 BOOL IsTextUTF8(char* str,ULONGLONG length) 2 { 3 DWORD nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节 4 UCHAR chr; 5 BOOL bAllAscii=TRUE; //如果全部都是ASCII, 说明不是UTF-8 6 for(int i=0; i<length; ++i) 7 { 8 chr= *(str+i); 9 if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx 10 bAllAscii= FALSE; 11 if(nBytes==0) //如果不是ASCII码,应该是多字节符,计算字节数 12 { 13 if(chr>=0x80) 14 { 15 if(chr>=0xFC&&chr<=0xFD) 16 nBytes=6; 17 else if(chr>=0xF8) 18 nBytes=5; 19 else if(chr>=0xF0) 20 nBytes=4; 21 else if(chr>=0xE0) 22 nBytes=3; 23 else if(chr>=0xC0) 24 nBytes=2; 25 else 26 return FALSE; 27 28 nBytes--; 29 } 30 } 31 else //多字节符的非首字节,应为 10xxxxxx 32 { 33 if( (chr&0xC0) != 0x80 ) 34 return FALSE; 35 36 nBytes--; 37 } 38 } 39 if( nBytes > 0 ) //违返规则 40 return FALSE; 41 if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8 42 return FALSE; 43 44 return TRUE; 45 }
注：这里的bAllAscii，要看不同场景是否需要。我项目代码里，是不需要这家伙的。
