C++中 Unicode 与 UTF-8 编码互转

时间：2021-03-22 20:17:14

1、简述

最近在发送网络请求时遇到了中文字符乱码的问题，在代码中调试字符正常，用抓包工具抓的包中文字符显示正常，就是发送到服务器就显示乱码了，那就要将客户端和服务器设置统一的编码（UTF-8），而我们程序中 一般用的是Unicode编码，所以这就需要将中文字符转为UTF-8格式的，其他英文字符和数字就不需要转了。下面就讲述一下方法。

2、代码之路

Unicode 转 UTF-8

char* UnicodeToUtf8(const wchar_t* unicode)
{
int len;
    len = WideCharToMultiByte(CP_UTF8, 0, unicode, -1, NULL, 0, NULL, NULL);
char *szUtf8 = (char*)malloc(len + 1);
    memset(szUtf8, 0, len + 1);
    WideCharToMultiByte(CP_UTF8, 0, unicode, -1, szUtf8, len, NULL, NULL);
return szUtf8;
}

int main(int argc, char *argv[])
{
wchar_t* wCharUnicode = L"中国";
char* cCharUtf = UnicodeToUtf8(wCharUnicode);

return 0;
}

结果如下：

C++中 Unicode 与 UTF-8 编码互转

我们看到转为UTF-8之后在VS中查看时显示为其他字符。为了验证我们转的字符是否正确，我们可以借用NotePad++这个工具。我们新建一个文件，用NotePad++打开，文件编码默认为ANSI格式，这里显示的跟VS中调试时显示的值是一样的。

C++中 Unicode 与 UTF-8 编码互转

我们修改文件编码为UTF-8之后再看一下，是不是显示正常了，所以验证了转换代码正确。
C++中 Unicode 与 UTF-8 编码互转

UTF-8 转 Unicode

CString UTF82WCS(const char* szU8)
{
//预转换，得到所需空间的大小;
int wcsLen = ::MultiByteToWideChar(CP_UTF8, NULL, szU8, strlen(szU8), NULL, 0);

//分配空间要给'\0'留个空间，MultiByteToWideChar不会给'\0'空间
wchar_t* wszString = new wchar_t[wcsLen + 1];

//转换
    ::MultiByteToWideChar(CP_UTF8, NULL, szU8, strlen(szU8), wszString, wcsLen);

//最后加上'\0'
    wszString[wcsLen] = '\0';

    CString unicodeString(wszString);

    delete[] wszString;
    wszString = NULL;

return unicodeString;
}

int main(int argc, char *argv[])
{
wchar_t* wCharUnicode = L"中国";
char* cCharUtf = UnicodeToUtf8(wCharUnicode);
    CString strUnicode = UTF82WCS(cCharUtf);

return 0;
}

C++中 Unicode 与 UTF-8 编码互转

从结果中我们看到，成功地将UTF-8编码转为Unicode编码，代码很简单，还是要多思考，多练，多查阅资料。

给出几个小实例，看一下转换结果。

下面为测试代码：

实例一：

int length;
wchar_t* wCharUnicode = L"中国你好";
length = wcslen(wCharUnicode);                      // length = 4;

char* cCharUtf = UnicodeToUtf8(wCharUnicode);
length = strlen(cCharUtf);                          // length = 12;

// 将UTF格式的char*转为CString
CString strUtf(cCharUtf);
length = strUtf.GetLength();                        // length = 6;

CString strUnicode = UTF82WCS(cCharUtf);
length = strUnicode.GetLength();                    // length = 4;

C++中 Unicode 与 UTF-8 编码互转

实例二：

int length;
wchar_t* wCharUnicode = L"中国,你好abc";
length = wcslen(wCharUnicode);                      // length = 8;

char* cCharUtf = UnicodeToUtf8(wCharUnicode);
length = strlen(cCharUtf);                          // length = 16;

// 将UTF格式的char*转为CString
CString strUtf(cCharUtf);
length = strUtf.GetLength();                        // length = 10;

CString strUnicode = UTF82WCS(cCharUtf);
length = strUnicode.GetLength();                    // length = 8;

C++中 Unicode 与 UTF-8 编码互转

这里在中文 “中国”和“你好”之间加了英文的标点符号，显示正常。

实例三：

int length;
wchar_t* wCharUnicode = L"中国，你好abc";
length = wcslen(wCharUnicode);                      // length = 8;

char* cCharUtf = UnicodeToUtf8(wCharUnicode);
length = strlen(cCharUtf);                          // length = 18;

// 将UTF格式的char*转为CString
CString strUtf(cCharUtf);
length = strUtf.GetLength();                        // length = 10;

CString strUnicode = UTF82WCS(cCharUtf);
length = strUnicode.GetLength();                    // length = 8;

C++中 Unicode 与 UTF-8 编码互转

这里在中文 “中国”和“你好”之间加了中文的标点符号，cCharUtf 在VS中看不到值，但是可以转成CString查看其值，结果正确。

尾

我们从三个不同实例的测试结果中看到一个中文字符或者中文标点符号，占了三个字节（有资料显示 UTF-8编码：采用变长字节 ，1 ：ASCII, 2： 希腊字母, 3： 汉字, 4： 中日韩超大字符集，这里常用汉字占用3个，不常用的汉字占用4个字节 ），中文标点符号与英文标点符号差了两个字节，这里要特别注意，而英文字符在UTF-8下都为一个字节。

同时我们可以看到用CString 类型变量来分别接收Unicode和UTF-8编码的字符，这里我们看到长度不一致（这里特值字符长度，并不是字符所占字节数），虽然我们看到UTF-8编码比Unicode编码要长，但是并不是绝对的，因为UTF-8在存储不同字符时所占的内存大小不一样，就比如存储ASCII码 就只需要一个字节，而Unicode需要两个字节，关于编码问题还是挺复杂的，而正是Unicode储存ASCII也需要两个字节，这里就出现了UTF-8、UTF-16、UTF-32等不同的字符编码格式，至于为什么会出现这么多的编码格式，那也是因为每种编码格式保存字符的空间大小不一致，就比如UTF-8保存一个英文字母只需要一个字节，而Unicode需要两个字节，但是保存一个中文字符，UTF-8需要三个字节，而Unicode则需要两个字节。

UTF全称为unicode transformation format，其实说白了，UTF-8就是Unicode的实现方式之一， ，UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

网上也有好多关于字符问题的资料，但是说法不一，所以还是要经过多方验证，这里需要注意一下。

标签：

相关文章