C++字符编码的查看和检测
1、查看字符编码
查询汉字GBK、UTF8、UNICODE编码的值的网站如下：
汉字字符集编码查询；中文字符集编码：GB2312、BIG5、GBK、GB18030、Unicode (qqxiuzi.cn)
“汉字”编码的数据如下：
现使用程序demo进行验证：
// Encode.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。
//
#include <iostream>
#include <string>
#include <Windows.h>
using namespace std;
//将wstring转换成string
string wstring2string(wstring wstr,UINT nCode)
{
string result;
//获取缓冲区大小，并申请空间，缓冲区大小事按字节计算的
int len = WideCharToMultiByte(nCode, 0, wstr.c_str(), wstr.size(), NULL, 0, NULL, NULL);
char* buffer = new char[len + 1];
//宽字节编码转换成多字节编码
WideCharToMultiByte(nCode, 0, wstr.c_str(), wstr.size(), buffer, len, NULL, NULL);
buffer[len] = '\0';
//删除缓冲区并返回值
result.append(buffer);
delete[] buffer;
return result;
}
int main()
{
char szChn1[20] = {"汉字"};
wstring wstrChn = L"汉字";
string strCh = wstring2string(wstrChn,CP_UTF8);
char szChn2[20] = { 0 };
int nSize = sizeof(strCh);
int nlen = strCh.length();
int nStrlen = strlen(strCh.c_str());
strncpy_s(szChn2,strCh.c_str(), nStrlen);
std::cout << "Hello World!\n";
}
上述程序的执行结果如下：
从上述的程序结果可以看出，szChn1的编码是BABAD7D6,是GBK编码；szChn2的字符编码是E6B189E5AD97，是UTF8编码。
注1：/***********************计算字符串长度函数简单比较*********************************/
(1)size()与length()完全等同,string的成员函数，遇到空字符不会被截断，可以返回字符串真实长度。
(2)strlen(),源于C语言，参数是char，遇到空字符会截断，从而无法返回字符串真实长度。
(3) sizeof是C/C++中的一个操作符（operator），简单的说其作用就是返回一个对象或者类型所占的内存字节数。
注2：/***********************字符编码知识**********************************/
（1）ASCII 是美国国家标准学会制定的，使用指定的7 位或8 位二进制数组合来表示128 或256 种可能的字符。
（2）GBK是中国信息技术标准化技术委员会制订表示汉字的编码，采用双字节编码方式。
（3）UNICODE是国际标准化组织定义一套编码方案来解决所有国家的编码问题，注意Unicode不是一个新的编码规则，而是一套字符集（为每一个「字符」分配一个唯一的 ID（学名为码位 / 码点 / Code Point）），可以将Unicode理解为一本世界编码的字典。
（4）UTF8:由于Unicode比较浪费网络带宽和硬盘，制订了UTF8，最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。UTF8是比较通用的编码方式。
ANSI是当前系统默认的编码，取决于电脑安装的字符，所以我们大多数电脑编码默认是GBK。
编码方式知识参考如下博文：ASCII，Unicode和UTF-8终于找到一个能完全搞清楚的文章了_Deft_MKJing宓珂璟的博客-CSDN博客_ascii和utf
还有一篇文章写的不错，如下：ASCII、Unicode、GBK、UTF-8之间的关系_longwen_zhi的博客-CSDN博客_ascii gbk
2、判断字符编码
判断字符编码的demo如下：
// Encode.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。
//
#include <iostream>
#include <string>
#include <Windows.h>
using namespace std;
//将wstring转换成string
string wstring2string(wstring wstr,UINT nCode)
{
string result;
//获取缓冲区大小，并申请空间，缓冲区大小事按字节计算的
int len = WideCharToMultiByte(nCode, 0, wstr.c_str(), wstr.size(), NULL, 0, NULL, NULL);
char* buffer = new char[len + 1];
//宽字节编码转换成多字节编码
WideCharToMultiByte(nCode, 0, wstr.c_str(), wstr.size(), buffer, len, NULL, NULL);
buffer[len] = '\0';
//删除缓冲区并返回值
result.append(buffer);
delete[] buffer;
return result;
}
//
enum Encode { ANSI = 1, UTF16_LE, UTF16_BE, UTF8_BOM, UTF8 };
Encode IsUtf8Data(const uint8_t* data, size_t size)
{
bool bAnsi = true;
uint8_t ch = 0x00;
int32_t nBytes = 0;
for (auto i = 0; i < size; i++)
{
ch = *(data + i);
if ((ch & 0x80) != 0x00)
{
bAnsi = false;
}
if (nBytes == 0)
{
if (ch >= 0x80)
{
if (ch >= 0xFC && ch <= 0xFD)
{
nBytes = 6;
}
else if (ch >= 0xF8)
{
nBytes = 5;
}
else if (ch >= 0xF0)
{
nBytes = 4;
}
else if (ch >= 0xE0)
{
nBytes = 3;
}
else if (ch >= 0xC0)
{
nBytes = 2;
}
else
{
return Encode::ANSI;
}
nBytes--;
}
}
else
{
if ((ch & 0xC0) != 0x80)
{
return Encode::ANSI;
}
nBytes--;
}
}
if (nBytes > 0 || bAnsi)
{
return Encode::ANSI;
}
return Encode::UTF8;
}
Encode DetectEncode(const uint8_t* data, size_t size)
{
if (size > 2 && data[0] == 0xFF && data[1] == 0xFE)
{
return Encode::UTF16_LE;
}
else if (size > 2 && data[0] == 0xFE && data[1] == 0xFF)
{
return Encode::UTF16_BE;
}
else if (size > 3 && data[0] == 0xEF && data[1] == 0xBB && data[2] == 0xBF)
{
return Encode::UTF8_BOM;
}
else
{
return IsUtf8Data(data, size);
}
}
/
int main()
{
char szChn1[5] = {"汉字"};
wstring wstrChn = L"汉字";
string strCh = wstring2string(wstrChn,CP_UTF8);
char szChn2[7] = { 0 };
int nSize = sizeof(strCh);
int nlen = strCh.length();
int nStrlen = strlen(strCh.c_str());
strncpy_s(szChn2,strCh.c_str(), nStrlen);
Encode emCode1;
emCode1 = IsUtf8Data((const unsigned char*)szChn1,strlen(szChn1));
Encode emCode2;
emCode2 = IsUtf8Data((const unsigned char*)szChn2, strlen(szChn2));
std::cout << "Hello World!\n";
}
执行结果如下：
上述demo中部分代码参考于C++判断字符串编码格式（ANSI\UTF16_LE\UTF16_BE\UTF8\UTF8_BOM）_xingyundandan的博客-CSDN博客_c++ 查看字符串的编码
