写了一个程序 在window下运行 没有问题 将汉字能转换成长度为1 但是 在Linux下 不行 下面是转换函数和 在window、Linux运行不同结果 请高手指教
14 个解决方案
#1
Linux下汉字是UTF8编码的，通常一个汉字占三个字节。
//iconv_linux下字符集编码转换轻松实现
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
//此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
//此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。
(3) int iconv_close(iconv_t cd);
//此函数用于关闭转换句柄,释放资源。
//例子1: 用C语言实现的转换示例程序
/* f.c : 代码转换示例C程序 */
#include <iconv.h>
#define OUTLEN 255
main()
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];
/*unicode码转为gb2312码*/
rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
printf("unicode-->gb2312 out=%sn",out);
//gb2312码转为unicode码
rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
printf("gb2312-->unicode out=%sn",out);
}
/*代码转换:从一种编码转为另一种编码*/
int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
{
iconv_t cd;
int rc;
char **pin = &inbuf;
char **pout = &outbuf;
cd = iconv_open(to_charset,from_charset);
if (cd==0) return -1;
memset(outbuf,0,outlen);
if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
iconv_close(cd);
return 0;
}
/*UNICODE码转为GB2312码*/
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
/*GB2312码转为UNICODE码*/
int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
{
return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
}
//例子2: 用C++语言实现的转换示例程序
/* f.cpp : 代码转换示例C++程序 */
#include <iconv.h>
#include <iostream>
#define OUTLEN 255
using namespace std;
// 代码转换操作类
class CodeConverter {
private:
iconv_t cd;
public:
// 构造
CodeConverter(const char *from_charset,const char *to_charset) {
cd = iconv_open(to_charset,from_charset);
}
// 析构
~CodeConverter() {
iconv_close(cd);
}
// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;
memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
}
};
int main(int argc, char **argv)
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];
// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312");
cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;
// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8");
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
}
二、利用iconv命令进行编码转换
iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。
用法： iconv [选项...] [文件...]
有如下选项可用:
输入/输出格式规范：
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码
信息：
-l, --list 列举所有已知的字符集
输出控制：
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息
-?, --help 给出该系统求助列表
--usage 给出简要的用法信息
-V, --version 打印程序版本号
例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
这个命令读取aaa.txt文件，从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。
小结: Linux为我们提供了强大的编码转换工具,给我们带来了方便。
#2
为何不是用 setlocale(LC_ALL, "");
#3
utf-8中文占3个字节 gb2312占两个字节 那就是先用函数将txt文档转换成 gb2312 再用 多字节转换款字符 函数 转换
再进行以下的程序 是吗 要在 多 - 宽 之前 加 这么一个步骤？
#4
怎么我看utf-8 转换成gb2312之后 还是占3个字节呢？
#5
哪有那么麻烦，我一般都直接转换的，UTF-8 就转换为 UTF-32 了。Windows 下的 char 是 ANSI，WCHAR 是 UTF-16（UCS-2），的确需要跟 locale 扯上关系。Linux 下的 char 是 UTF-8，WCHAR 是 UTF-32（UCS-4），都是 Unicode，即便转换也与 locale 无关，这种转换自己都可以写一个了。我建议你 Windows 下调用 MultiByteToWideChar 和 WideCharToMultiByte，而 Linux 直接自己写一个转换函数。UTF-8 和 UTF-16/UTF-32 转换规律很简单。
#6
对电脑而言没有乱码，只有二进制字节；对人脑才有乱码。啊 GBK:0xB0 0xA1,Unicode-16 LE:0x4A 0x55,Unicode-16 BE:0x55 0x4A,UTF-8:0xE5 0x95 0x8A
void HexDump(char *buf,int len,int addr) {
int i,j,k;
char binstr[80];
for (i=0;i<len;i++) {
if (0==(i%16)) {
sprintf(binstr,"%08x -",i+addr);
sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
} else if (15==(i%16)) {
sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
sprintf(binstr,"%s ",binstr);
for (j=i-15;j<=i;j++) {
sprintf(binstr,"%s%c",binstr,('!'<buf[j]&&buf[j]<='~')?buf[j]:'.');
}
printf("%s\n",binstr);
} else {
sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
}
}
if (0!=(i%16)) {
k=16-(i%16);
for (j=0;j<k;j++) {
sprintf(binstr,"%s ",binstr);
}
sprintf(binstr,"%s ",binstr);
k=16-k;
for (j=i-k;j<i;j++) {
sprintf(binstr,"%s%c",binstr,('!'<buf[j]&&buf[j]<='~')?buf[j]:'.');
}
printf("%s\n",binstr);
}
}
#7
您经常写 能不能把您的函数贴上，我主要是想 汉字 跟 字母数字一样 是长度是 1 我的程序是将txt文本打开 成字符串 里面的汉字字母数字 转换成宽字符操作 最后操作完将结果 转换回 字符流存入 txt文档
#8
我不明白这个函数什么意思 我只是想 在Linux下 汉字跟 字符 数字 一样 长度是1
#9
自己写的 UTF-8 <-> UTF-16/ UTF-32 互转代码，不依赖操作系统。
第一个参数为待转换的字符串
第二个参数为接收结果的缓冲区
第三个参数为结果缓冲区大小(包含尾零)
返回值为所写入缓冲区的大小(包含尾零)
#include <stdio.h>参数作用简单说明如下：
#include <stdlib.h>
int UTF8ToUnicode(const char *pmbs, wchar_t *pwcs, int size)
{
int cnt = 0;
// 这里 size-- 是预先除去尾零所需位置
if (pmbs != NULL && pwcs != NULL && size-- > 0) {
while (*pmbs != 0 && size > 0) {
unsigned char ch = *pmbs;
if (ch > 0x7FU) {
int cwch = 0;
while (ch & 0x80U) {
ch <<= 1;
cwch++;
}
*pwcs = *pmbs++ & (0xFFU >> cwch);
while (--cwch > 0) {
*pwcs <<= 6;
*pwcs |= (*pmbs++ & 0x3FU);
}
} else {
*pwcs = *pmbs++;
}
pwcs++;
size--;
cnt++;
}
*pwcs = 0;
cnt++;
}
return cnt;
}
int UnicodeToUTF8(const wchar_t *pwcs, char *pmbs, int size)
{
int cnt = 0;
// 这里 size-- 是预先除去尾零所需位置
if (pwcs != NULL && pmbs != NULL && size-- > 0) {
while (*pwcs != 0 && size > 0) {
if (*pwcs < 0x00000080U) {
*pmbs++ = (char)*pwcs;
size -= 1;
cnt += 1;
} else if (*pwcs < 0x00000800U) {
// 剩余空间不够存放该字符
if (size < 2) {
break;
}
*pmbs++ = (0xFFU << 6) | (*pwcs >> 6);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 2;
cnt += 2;
} else if (*pwcs < 0x00010000U) {
// 剩余空间不够存放该字符
if (size < 3) {
break;
}
*pmbs++ = (0xFFU << 5) | (*pwcs >> 12);
*pmbs++ = 0x80U | ((*pwcs >> 6) & 0x3FU);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 3;
cnt += 3;
} else if (*pwcs < 0x00200000U) {
// 剩余空间不够存放该字符
if (size < 4) {
break;
}
*pmbs++ = (0xFFU << 4) | (*pwcs >> 18);
*pmbs++ = 0x80U | ((*pwcs >> 12) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 6) & 0x3FU);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 4;
cnt += 4;
} else if (*pwcs < 0x04000000U) {
// 剩余空间不够存放该字符
if (size < 5) {
break;
}
*pmbs++ = (0xFFU << 3) | (*pwcs >> 24);
*pmbs++ = 0x80U | ((*pwcs >> 18) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 12) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 6) & 0x3FU);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 5;
cnt += 5;
} else if (*pwcs < 0x80000000U) {
// 剩余空间不够存放该字符
if (size < 6) {
break;
}
*pmbs++ = (0xFFU << 2) | (*pwcs >> 30);
*pmbs++ = 0x80U | ((*pwcs >> 24) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 18) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 12) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 6) & 0x3FU);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 6;
cnt += 6;
} else {
// 无法识别的 Unicode 字符
break;
}
pwcs++;
}
*pmbs = 0;
cnt++;
}
return cnt;
}
int main(void)
{
// 这部分代码请在 Linux 上测试，Windows 命令行无法打印 UTF-8 字符串。
char mbs1[256] = { 0 };
wchar_t wcs1[] = L"测试文字";
int ret1 = UnicodeToUTF8(wcs1, mbs1, sizeof(mbs1)/sizeof(char));
printf("%d\n", ret1);
// 这部分代码请在 Linux 上测试，Windows 的 char 类型非 UTF-8 编码。
char mbs2[] = "测试文字";
wchar_t wcs2[256] = { 0 };
int ret2 = UTF8ToUnicode(mbs2, wcs2, sizeof(wcs2)/sizeof(wchar_t));
printf("%d\n", ret2);
return 0;
}
第一个参数为待转换的字符串
第二个参数为接收结果的缓冲区
第三个参数为结果缓冲区大小(包含尾零)
返回值为所写入缓冲区的大小(包含尾零)
#10
个人愚见：Linux内部表示字符串使用utf8编码，所以想“ 在Linux下 汉字跟 字符 数字 一样 长度是1 ”是不可能的。
欢迎楼下达人拍砖。
欢迎楼下达人拍砖。
#11
精简 UnicodeToUTF8 的代码：
int UnicodeToUTF8(const wchar_t *pwcs, char *pmbs, int size)
{
int cnt = 0;
if (pwcs != NULL && pmbs != NULL && size-- > 0) {
while (*pwcs != 0 && *pwcs < 0x80000000U && size > 0) {
int cmbc = 0;
cmbc += (*pwcs > 0x0000007FU);
cmbc += (*pwcs > 0x000007FFU);
cmbc += (*pwcs > 0x0000FFFFU);
cmbc += (*pwcs > 0x001FFFFFU);
cmbc += (*pwcs > 0x03FFFFFFU);
if (cmbc++ > 0) {
if (size < cmbc) {
break;
}
*pmbs = ~(0xFFU >> cmbc--);
*pmbs++ |= (*pwcs >> (cmbc * 6));
while (cmbc-- > 0) {
*pmbs = (char)0x80U;
*pmbs++ |= (*pwcs >> (cmbc * 6)) & 0x3FU;
size--;
cnt++;
}
} else {
*pmbs++ = (char)*pwcs;
}
pwcs++;
size--;
cnt++;
}
*pmbs = 0;
cnt++;
}
return cnt;
}
#12
finalstr为wstring类型的 写入txt文档 文档为空 但是 程序不报错 不知道是什么原因 应该加点什么代码吗
#13
finalstr为wstring类型的 写入txt文档 文档为空 但是 程序不报错 不知道是什么原因 应该加点什么代码吗
#1
Linux下汉字是UTF8编码的，通常一个汉字占三个字节。
//iconv_linux下字符集编码转换轻松实现
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
//此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
//此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。
(3) int iconv_close(iconv_t cd);
//此函数用于关闭转换句柄,释放资源。
//例子1: 用C语言实现的转换示例程序
/* f.c : 代码转换示例C程序 */
#include <iconv.h>
#define OUTLEN 255
main()
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];
/*unicode码转为gb2312码*/
rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
printf("unicode-->gb2312 out=%sn",out);
//gb2312码转为unicode码
rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
printf("gb2312-->unicode out=%sn",out);
}
/*代码转换:从一种编码转为另一种编码*/
int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
{
iconv_t cd;
int rc;
char **pin = &inbuf;
char **pout = &outbuf;
cd = iconv_open(to_charset,from_charset);
if (cd==0) return -1;
memset(outbuf,0,outlen);
if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
iconv_close(cd);
return 0;
}
/*UNICODE码转为GB2312码*/
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
/*GB2312码转为UNICODE码*/
int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
{
return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
}
//例子2: 用C++语言实现的转换示例程序
/* f.cpp : 代码转换示例C++程序 */
#include <iconv.h>
#include <iostream>
#define OUTLEN 255
using namespace std;
// 代码转换操作类
class CodeConverter {
private:
iconv_t cd;
public:
// 构造
CodeConverter(const char *from_charset,const char *to_charset) {
cd = iconv_open(to_charset,from_charset);
}
// 析构
~CodeConverter() {
iconv_close(cd);
}
// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;
memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
}
};
int main(int argc, char **argv)
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];
// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312");
cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;
// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8");
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
}
二、利用iconv命令进行编码转换
iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。
用法： iconv [选项...] [文件...]
有如下选项可用:
输入/输出格式规范：
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码
信息：
-l, --list 列举所有已知的字符集
输出控制：
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息
-?, --help 给出该系统求助列表
--usage 给出简要的用法信息
-V, --version 打印程序版本号
例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
这个命令读取aaa.txt文件，从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。
小结: Linux为我们提供了强大的编码转换工具,给我们带来了方便。
#2
为何不是用 setlocale(LC_ALL, "");
#3
utf-8中文占3个字节 gb2312占两个字节 那就是先用函数将txt文档转换成 gb2312 再用 多字节转换款字符 函数 转换
再进行以下的程序 是吗 要在 多 - 宽 之前 加 这么一个步骤？
#4
怎么我看utf-8 转换成gb2312之后 还是占3个字节呢？
#5
哪有那么麻烦，我一般都直接转换的，UTF-8 就转换为 UTF-32 了。Windows 下的 char 是 ANSI，WCHAR 是 UTF-16（UCS-2），的确需要跟 locale 扯上关系。Linux 下的 char 是 UTF-8，WCHAR 是 UTF-32（UCS-4），都是 Unicode，即便转换也与 locale 无关，这种转换自己都可以写一个了。我建议你 Windows 下调用 MultiByteToWideChar 和 WideCharToMultiByte，而 Linux 直接自己写一个转换函数。UTF-8 和 UTF-16/UTF-32 转换规律很简单。
#6
对电脑而言没有乱码，只有二进制字节；对人脑才有乱码。啊 GBK:0xB0 0xA1,Unicode-16 LE:0x4A 0x55,Unicode-16 BE:0x55 0x4A,UTF-8:0xE5 0x95 0x8A
void HexDump(char *buf,int len,int addr) {
int i,j,k;
char binstr[80];
for (i=0;i<len;i++) {
if (0==(i%16)) {
sprintf(binstr,"%08x -",i+addr);
sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
} else if (15==(i%16)) {
sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
sprintf(binstr,"%s ",binstr);
for (j=i-15;j<=i;j++) {
sprintf(binstr,"%s%c",binstr,('!'<buf[j]&&buf[j]<='~')?buf[j]:'.');
}
printf("%s\n",binstr);
} else {
sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
}
}
if (0!=(i%16)) {
k=16-(i%16);
for (j=0;j<k;j++) {
sprintf(binstr,"%s ",binstr);
}
sprintf(binstr,"%s ",binstr);
k=16-k;
for (j=i-k;j<i;j++) {
sprintf(binstr,"%s%c",binstr,('!'<buf[j]&&buf[j]<='~')?buf[j]:'.');
}
printf("%s\n",binstr);
}
}
#7
您经常写 能不能把您的函数贴上，我主要是想 汉字 跟 字母数字一样 是长度是 1 我的程序是将txt文本打开 成字符串 里面的汉字字母数字 转换成宽字符操作 最后操作完将结果 转换回 字符流存入 txt文档
#8
我不明白这个函数什么意思 我只是想 在Linux下 汉字跟 字符 数字 一样 长度是1
#9
自己写的 UTF-8 <-> UTF-16/ UTF-32 互转代码，不依赖操作系统。
第一个参数为待转换的字符串
第二个参数为接收结果的缓冲区
第三个参数为结果缓冲区大小(包含尾零)
返回值为所写入缓冲区的大小(包含尾零)
#include <stdio.h>参数作用简单说明如下：
#include <stdlib.h>
int UTF8ToUnicode(const char *pmbs, wchar_t *pwcs, int size)
{
int cnt = 0;
// 这里 size-- 是预先除去尾零所需位置
if (pmbs != NULL && pwcs != NULL && size-- > 0) {
while (*pmbs != 0 && size > 0) {
unsigned char ch = *pmbs;
if (ch > 0x7FU) {
int cwch = 0;
while (ch & 0x80U) {
ch <<= 1;
cwch++;
}
*pwcs = *pmbs++ & (0xFFU >> cwch);
while (--cwch > 0) {
*pwcs <<= 6;
*pwcs |= (*pmbs++ & 0x3FU);
}
} else {
*pwcs = *pmbs++;
}
pwcs++;
size--;
cnt++;
}
*pwcs = 0;
cnt++;
}
return cnt;
}
int UnicodeToUTF8(const wchar_t *pwcs, char *pmbs, int size)
{
int cnt = 0;
// 这里 size-- 是预先除去尾零所需位置
if (pwcs != NULL && pmbs != NULL && size-- > 0) {
while (*pwcs != 0 && size > 0) {
if (*pwcs < 0x00000080U) {
*pmbs++ = (char)*pwcs;
size -= 1;
cnt += 1;
} else if (*pwcs < 0x00000800U) {
// 剩余空间不够存放该字符
if (size < 2) {
break;
}
*pmbs++ = (0xFFU << 6) | (*pwcs >> 6);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 2;
cnt += 2;
} else if (*pwcs < 0x00010000U) {
// 剩余空间不够存放该字符
if (size < 3) {
break;
}
*pmbs++ = (0xFFU << 5) | (*pwcs >> 12);
*pmbs++ = 0x80U | ((*pwcs >> 6) & 0x3FU);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 3;
cnt += 3;
} else if (*pwcs < 0x00200000U) {
// 剩余空间不够存放该字符
if (size < 4) {
break;
}
*pmbs++ = (0xFFU << 4) | (*pwcs >> 18);
*pmbs++ = 0x80U | ((*pwcs >> 12) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 6) & 0x3FU);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 4;
cnt += 4;
} else if (*pwcs < 0x04000000U) {
// 剩余空间不够存放该字符
if (size < 5) {
break;
}
*pmbs++ = (0xFFU << 3) | (*pwcs >> 24);
*pmbs++ = 0x80U | ((*pwcs >> 18) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 12) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 6) & 0x3FU);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 5;
cnt += 5;
} else if (*pwcs < 0x80000000U) {
// 剩余空间不够存放该字符
if (size < 6) {
break;
}
*pmbs++ = (0xFFU << 2) | (*pwcs >> 30);
*pmbs++ = 0x80U | ((*pwcs >> 24) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 18) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 12) & 0x3FU);
*pmbs++ = 0x80U | ((*pwcs >> 6) & 0x3FU);
*pmbs++ = 0x80U | (*pwcs & 0x3FU);
size -= 6;
cnt += 6;
} else {
// 无法识别的 Unicode 字符
break;
}
pwcs++;
}
*pmbs = 0;
cnt++;
}
return cnt;
}
int main(void)
{
// 这部分代码请在 Linux 上测试，Windows 命令行无法打印 UTF-8 字符串。
char mbs1[256] = { 0 };
wchar_t wcs1[] = L"测试文字";
int ret1 = UnicodeToUTF8(wcs1, mbs1, sizeof(mbs1)/sizeof(char));
printf("%d\n", ret1);
// 这部分代码请在 Linux 上测试，Windows 的 char 类型非 UTF-8 编码。
char mbs2[] = "测试文字";
wchar_t wcs2[256] = { 0 };
int ret2 = UTF8ToUnicode(mbs2, wcs2, sizeof(wcs2)/sizeof(wchar_t));
printf("%d\n", ret2);
return 0;
}
第一个参数为待转换的字符串
第二个参数为接收结果的缓冲区
第三个参数为结果缓冲区大小(包含尾零)
返回值为所写入缓冲区的大小(包含尾零)
#10
个人愚见：Linux内部表示字符串使用utf8编码，所以想“ 在Linux下 汉字跟 字符 数字 一样 长度是1 ”是不可能的。
欢迎楼下达人拍砖。
欢迎楼下达人拍砖。
#11
精简 UnicodeToUTF8 的代码：
int UnicodeToUTF8(const wchar_t *pwcs, char *pmbs, int size)
{
int cnt = 0;
if (pwcs != NULL && pmbs != NULL && size-- > 0) {
while (*pwcs != 0 && *pwcs < 0x80000000U && size > 0) {
int cmbc = 0;
cmbc += (*pwcs > 0x0000007FU);
cmbc += (*pwcs > 0x000007FFU);
cmbc += (*pwcs > 0x0000FFFFU);
cmbc += (*pwcs > 0x001FFFFFU);
cmbc += (*pwcs > 0x03FFFFFFU);
if (cmbc++ > 0) {
if (size < cmbc) {
break;
}
*pmbs = ~(0xFFU >> cmbc--);
*pmbs++ |= (*pwcs >> (cmbc * 6));
while (cmbc-- > 0) {
*pmbs = (char)0x80U;
*pmbs++ |= (*pwcs >> (cmbc * 6)) & 0x3FU;
size--;
cnt++;
}
} else {
*pmbs++ = (char)*pwcs;
}
pwcs++;
size--;
cnt++;
}
*pmbs = 0;
cnt++;
}
return cnt;
}
#12
finalstr为wstring类型的 写入txt文档 文档为空 但是 程序不报错 不知道是什么原因 应该加点什么代码吗
#13
finalstr为wstring类型的 写入txt文档 文档为空 但是 程序不报错 不知道是什么原因 应该加点什么代码吗