LINUX下C语言UCS2编码转换成UTF8或GBK

在用短信平台，最近对接了一个短信网关，在接收短信时传过来的编码是ucs2,需要转换成utf8或gbk\gb2312,接口程序是在LINUX下用C语言写的，望高手们指点一下，最好给个可用示例代码，不甚感激。

9 个解决方案

#1

struct MO_msg{
        char    sourceUser[21]; //发送消息的手机
        char    SPNumber[21]; //SP接入号
        unsigned char    tp_pid;
        unsigned char    tp_udhi;
        unsigned char   msgFormat; //消息格式
        unsigned long   msgLen; //消息长度
        char    msg[160]; //消息内容
};  
//这是接收MO信息的结构体
//程序部分代码如下：
p_msg=(struct MO_msg *)(p_MO);
p_msg->msg[p_msg->msgLen]=0;
printf("msg=%s\n",p_msg->msg);

我现在就需要把p_msg->msg的内容从ucs2编码转换成utf8编码或gbk。
谢谢指点。

#2

void UCS2toUTF8(unsigned short *ucs2, int count, char *utf8)
{
    unsigned short unicode;
    unsigned char bytes[4] = {0};
    int nbytes = 0;
    int i = 0, j = 0;
    int len=0;
 
    if((ucs2 != NULL) && (utf8 != NULL))
    {
        if(count  == 0)
        {
            len = 0;
        }
        else
        {
   for (i=0; i<count; i++)
   {
    unicode = ucs2[i];
    
    if (unicode < 0x80)
    {
     nbytes = 1;
     bytes[0] = unicode;
    }
    else if (unicode < 0x800)
    {
     nbytes = 2;
     bytes[1] = (unicode & 0x3f) | 0x80;
                    bytes[0] = ((unicode << 2) & 0x1f00 | 0xc000) >> 8;
    }
    else
    {
     nbytes = 3;
     bytes[2] = (unicode & 0x3f) | 0x80;
     bytes[1] = ((unicode << 2) & 0x3f00 | 0x8000) >> 8;
                    bytes[0] = ((unicode << 4) & 0x0f0000 | 0xe00000) >> 16;
    }
    
    for (j=0; j<nbytes; j++)
    {
     utf8[len] = bytes[j];
     len++;
                }
            }
        }
        
        utf8[len] = '/0';
    }
}

 

#3

请问网络传过来的是大端还是小端呢?

ucs2就是2字节unicode，存储分大小端的，网络传输需要两端协商，你们协商的是网络序吗？

先做好字节序转化，剩下就是iconv了。

#4

//iconv_linux下字符集编码转换轻松实现
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
//此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
//此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。
(3) int iconv_close(iconv_t cd);
//此函数用于关闭转换句柄,释放资源。

//例子1: 用C语言实现的转换示例程序

/* f.c : 代码转换示例C程序 */
#include <iconv.h>
#define OUTLEN 255
main()
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

/*unicode码转为gb2312码*/
rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
printf("unicode-->gb2312 out=%sn",out);
//gb2312码转为unicode码

rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
printf("gb2312-->unicode out=%sn",out);
}
/*代码转换:从一种编码转为另一种编码*/
int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
{
iconv_t cd;
int rc;
char **pin = &inbuf;
char **pout = &outbuf;

cd = iconv_open(to_charset,from_charset);
if (cd==0) return -1;
memset(outbuf,0,outlen);
if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
iconv_close(cd);
return 0;
}
/*UNICODE码转为GB2312码*/
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
/*GB2312码转为UNICODE码*/
int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
{
return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
}

//例子2: 用C++语言实现的转换示例程序

/* f.cpp : 代码转换示例C++程序 */
#include <iconv.h>
#include <iostream>

#define OUTLEN 255

using namespace std;

// 代码转换操作类

class CodeConverter {

private:
iconv_t cd;
public:

// 构造
CodeConverter(const char *from_charset,const char *to_charset) {
cd = iconv_open(to_charset,from_charset);
}


// 析构
~CodeConverter() {
iconv_close(cd);
}


// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;

memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
}
};

int main(int argc, char **argv)
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312");
cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8");
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
}



二、利用iconv命令进行编码转换

iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。

用法： iconv [选项...] [文件...]

有如下选项可用:

输入/输出格式规范：
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码

信息：
-l, --list 列举所有已知的字符集

输出控制：
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息

-?, --help 给出该系统求助列表
--usage 给出简要的用法信息
-V, --version 打印程序版本号

例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
这个命令读取aaa.txt文件，从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。

小结: Linux为我们提供了强大的编码转换工具,给我们带来了方便。

#5

引用 3 楼  的回复:

请问网络传过来的是大端还是小端呢?

ucs2就是2字节unicode，存储分大小端的，网络传输需要两端协商，你们协商的是网络序吗？

先做好字节序转化，剩下就是iconv了。

请问三楼：
短信接口文档上说了一句：
Tp_udhi:      GSM协议类型。详细解释请参考GSM03.40中的9.2.3.23，仅使用一位，右对齐

它这句话什么意思呢，是不是在定义大端小端呢？

#6

引用 4 楼  的回复:

C/C++ code
//iconv_linux下字符集编码转换轻松实现
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
//此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd……

我按照您的示例一代码执行完后输出的结果如下：
unicode-->gb2312 out=正
gb2312-->unicode out=姝ｅ湪瀹夎
是不是不对呢？转gb2312只转出一个字啊

#7

再问下四楼：UCS2编码是unicode吧，unicode怎么以是UTF-8呢，你在程序中写的：
/*UNICODE码转为GB2312码*/
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
是不是就把UNICODE当作UTF-8了？

#8

引用 7 楼  的回复:

再问下四楼：UCS2编码是unicode吧，unicode怎么以是UTF-8呢，你在程序中写的：
/*UNICODE码转为GB2312码*/
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}……

ucs2是utf-16

#9

'UTF-8 编码字符理论上可以最多到 6个字节长，但目前全世界的所
'有文字和符号种类加起来也只要编到 4个字节长就够了。
'　　UTF-8 是以 8位（即 1个字节）为单元对原始码进行编码（注意一
'点：这里所讲的原始码都是指Unicode码），并规定：多字节码（2个字
'节以上才称为多字节）以转换后第1个字节起头的连续“1”的数目（这
'些连续“1”称为标记位），表示转换成几个字节：“110”连续两个
'“1”，表示转换结果为2个字节，“1110”表示3个字节，而“11110”
'则表示4个字节……跟随在标记位之后的“0”，其作用是分隔标记位和
'字符码位。第2～第4个字节的起头两个位固定设置为“10”，也作为标
'记，剩下的6个位才做为字符码位使用。
'　　这样，2字节UTF-8码剩下11个字符码位，可用以转换0080～07FF的
'原始字符码，3字节剩下16个字符码位，可用以转换0800～FFFF的原始字
'符码，由此类推。编码方式的模板如下：
'
'原始码（16进制）　UTF－8编码（二进制）
'--------------------------------------------
'0000 - 007F       0xxxxxxx
'0080 - 07FF       110xxxxx 10xxxxxx
'0800 - FFFF       1110xxxx 10xxxxxx 10xxxxxx
'……
'--------------------------------------------
'
'　　模板中的“x”表示字符码。
'　　VB能识别的 Ascii码＜007F，所以在VB中，Ascii码都只能编为1个
'字节的UTF－8码。汉字的 Unicode编码范围为0800－FFFF，所以被编为
'3个字节的UTF－8码。
'　　例如“汉”字的Unicode编码是6C49，6C49在0800-FFFF之间，所以
'要用3个字节的模板：1110xxxx 10xxxxxx 10xxxxxx。
'　　UTF－8文本文件与Unicode文本文件类似，在文件的头部也有标记字
'节，Unicode文件的标记是2个字节：&HFF 和 &HFE，UTF－8文件的标记
'是3个字节：&HEF、&HBB 和 &HBF
'