字符集之间转换(UTF-8,UNICODE,Gb2312)

字符集之间转换(UTF-8,UNICODE,Gb2312). 特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换. UTF-8: 3字节一个字符 UNICODE: 2字节一个字符 GB2312: 1字节一个字符例子： “你”字的UTF-8编码: E4 BD A0 11100100 10111101 10100000 ...

由于ASCII 表示的字符非常有限，各个国家或者地区在此基础上提出了自己的字符集，比如在中国应用非常广泛的GB2312，它为汉字提供了编码，用两个字节表示。这些字符集之间互不兼容，相同的数字可能表示不同的字符，为信息交流带来了麻烦。 Unicode 是一种 ...

从128到255这一页的字符集被称"扩展字符集"。从此之后，贪婪的人类再没有新的状态可以用了，美帝国主义可能没有想到还有第三世界 .... 其实这是因为GB2312编码与UTF8编码产生了编码冲撞的原因。从网上引来一段从UNICODE到UTF8的转换规则： Unicode UTF-8 ...

所以对于ISO8859-1和GB2312之间的转换就会出现麻烦了呵呵因为通常异种语言之间的转换是通过Unicode来完成的。 ... iso-8859-1是JAVA网络传输使用的标准字符集,而gb2312是标准中文字符集,当你作出提交表单等需要网络传输的操作的时候, ...

字符集之间转换C++编程专题文章; 10. 字符集之间转换C++编程. 三生石于07-03-06 02:59发表:. UTF-8: 3字节一个字符 UNICODE: 2字节一个字符 GB2312: 1字节一个字符例子： “你”字的UTF-8编码: E4 BD A0 11100100 10111101 10100000 ...

UTF-32、UTF-16 和UTF-8 是Unicode 标准的编码字符集的字符编码方案，UTF-16 使用一个或两个未分配的16 位代码单元的序列 ... 问题：使用Windows记事本的“另存为”，可以在ANSI、GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。 ...

在Unicode系统中，如果服务器缺省字符集为Unicode UTF－8，那么所有的转换将在UTF－8与客户端使用的本地字符集之间进行，因此， ..... 其中EUCGB字符集是基于GB2312-80编码规范的，它的EUC (Extended Unix Code)编码范围是第一字节0xA1~0xFE(实际只用 ...

使用Windows记事本的“另存为”，可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件，Windows ..... “GB2312的原文”是指国家1980年的一个标准《*国家标准信息交换用汉字编码字符集基本集GB 2312-80》。 ...

需要时转换到指定字符集。 ======================================================= 首先说下结论：简体中文繁体中文 UTF-8 codepage指定了IIS按什么编码读取传递过来的串串（表单提交，地址栏传递等）。也指定了所有文本变量从Unicode转换到的编码 ...

所以在设计和开发多语言网站时，一定要注意先把非中文页面的字符集定义为“utf-8”格式。这一步非常重要，原因在于若等页面做好之后再更改字符 ... 由于我们传统使用的内码像Big5,GB2312与unicode并不是一一对应,故两者之间的转换要靠codepage(页码)来实现 ...

引用链接

::::::本文的相关评价及说明信息::::::

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
GB2312: 1字节一个字符

例子：

“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　   01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
class CChineseCode
{
   public:
       static void UTF_8ToUnicode(wchar_t* pOut,char *pText); // 把UTF-8转换成Unicode
       static void UnicodeToUTF_8(char* pOut,wchar_t* pText); //Unicode 转换成UTF-8
       static void UnicodeToGB2312(char* pOut,wchar_t uData); // 把Unicode 转换成 GB2312
       static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
       static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
       static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
};

类实现

void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
{
    char* uchar = (char *)pOut;

    uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
    uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);

    return;
}

void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
{
    // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    char* pchar = (char *)pText;

    pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    pOut[2] = (0x80 | (pchar[0] & 0x3F));

    return;
}

void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
{
    WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    return;
}

void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
{
    ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    return ;
}

void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
{
    char buf[4];
    int nLength = pLen* 3;
    char* rst = new char[nLength];

    memset(buf,0,4);
    memset(rst,0,nLength);

    int i = 0;
    int j = 0;
    while(i < pLen)
    {
            //如果是英文直接复制就可以
            if( *(pText + i) >= 0)
            {
                    rst[j++] = pText[i++];
            }
            else
            {
                    wchar_t pbuffer;
                    Gb2312ToUnicode(&pbuffer,pText+i);

                    UnicodeToUTF_8(buf,&pbuffer);

                    unsigned short int tmp = 0;
                    tmp = rst[j] = buf[0];
                    tmp = rst[j+1] = buf[1];
                    tmp = rst[j+2] = buf[2];

                    j += 3;
                    i += 2;
            }
    }
    rst[j] = '/0';

    //返回结果
    pOut = rst;
    delete []rst;

    return;
}

void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
{
    char * newBuf = new char[pLen];
    char Ctemp[4];
    memset(Ctemp,0,4);

    int i =0;
    int j = 0;

    while(i < pLen)
    {
        if(pText[i] > 0)
        {
                newBuf[j++] = pText[i++];
        }
        else
        {
                WCHAR Wtemp;
                UTF_8ToUnicode(&Wtemp,pText + i);

                UnicodeToGB2312(Ctemp,Wtemp);

                newBuf[j] = Ctemp[0];
                newBuf[j + 1] = Ctemp[1];

                i += 3;
                j += 2;
        }
    }
    newBuf[j] = '/0';

    pOut = newBuf;
    delete []newBuf;

    return;
}

秒客网

字符集之间转换(UTF-8,UNICODE,Gb2312)

相关文章