c++对编码格式ANSI utf8 unicode 进行转换

时间:2021-05-14 14:13:22

Windows下有很多种编码格式,在与别的系统环境中有文件传输或通信时,这些编码就很重要。

比如在windows中换行是\r\n 在linux或mac下是\n,如果不对编码进行转换就会出现乱码。在通信中一般会有ASCII码和二进制码传输,如果是用二进制码在不同的系统环境中进行数据传输,在解析数据时必须进行转换,否则可能会出现数据错误。

Ansi字符串我们最熟悉,英文占一个字节,汉字2个字节,以一个\0结尾,常用于txt文本文件 

Unicode字符串,每个字符(汉字、英文字母)都占2个字节,以2个连续的\0结尾,NT操作系统内核用的是这种字符串,

常被定义为typedef unsigned short wchar_t;所以我们有时常会见到什么char*无法转换为unsigned short*之类的错误,

其实就是unicode

UTF8是Unicode一种压缩形式,英文A在unicode中表示为0x0041,老外觉得这种存储方式太浪费,因为浪费了50%的

空间,于是就把英文压缩成1个字节,成了utf8编码,但是汉字在utf8中占3个字节,显然用做中文不如ansi合算,这就是

中国的网页用作ansi编码而老外的网页常用utf8的原因。

UTF8在还游戏里运用的很广泛,比如WOW的lua脚本等,,

c++中对编码进行转换主要用到两个API,WideCharToMultiByte和MultiByteToWideChar

WideCharToMultiByte的代码页用来标记与新转换的字符串相关的代码页。
MultiByteToWideChar的代码页用来标记与一个多字节字符串相关的代码页。
常用的代码页由CP_ACP和CP_UTF8两个。
使用CP_ACP代码页就实现了ANSI与Unicode之间的转换。
使用CP_UTF8代码页就实现了UTF-8与Unicode之间的转换

ANSI to Unicode方法:



Unicode to ANSI

UTF8 to Unicode


Unicode to UTF8

UTF8格式又分为有无BOM两种,在转化为无BOM格式时在写入文件时  不写入BOM头即可。