转自:http://www.linuxdiyf.com/viewarticle.php?id=45164
在Linux上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现(针对文件进行转换)
一、利用iconv函数族进行编码转换
iconv函数族的头文件是iconv.h
使用前需包含之:#include <iconv.h>
iconv函数族有三个函数,原型如下:
(1) iconv_open()
函数原型:
iconv_t iconv_open(const char *tocode, const char *fromcode);
函数功能:
该函数分配一个编码转换句柄
参数:
1> tocode是目标编码
2> fromcode是原编码
(具体可以使用的编码方案可以百度查找)
支持的内码包括:Unicode相关编码,如UTF-8、UTF-16等等;各国采用的ANSI编码,其中包括GB2312、BIG5等中文编码方式。
返回值:
调用成功,则该函数返回一个转换句柄,供以下两个函数使用;
调用失败,返回-1,并且设置errno
可能的错误类型:
EINVAL The conversion from fromcode to tocode is not supported by the implementation.
(2) iconv()
函数功能:进行实际的编码转换
函数原型:
size_t iconv(iconv_t cd,
char **inbuf, size_t *inbytesleft,
char **outbuf, size_t *outbytesleft);
参数介绍:
1> cd是方法iconv_open()调用返回的转码句柄;
2> inbuf指向需要转码的缓冲区;
3> inbytesleft是inbuf所保存的需要转码的字节数;
4> outbuf存放转码结果;
5> outbytesleft存放outbuf空间的大小。
(不足之处:由于没有办法获取转换之后需要的内存大小,所以会造成内存空间的浪费!)
返回值:
调用成功,返回转换的字节数(不可逆转调用的字节数,可逆转调用的字节数不包括在内)
调用失败,返回-1,并设置相应的errno。
注意:
iconv()是逐步扫描inbuf,每转换一个字符,就增加inbuf,减少inbytesleft,并将结果存入outbuf,结果字节数存入outbytesleft
常见的三种情况:
情况一: inbuf不为空,而且*inbuf也不为空
此时,进行正常的编码转换
遇到下列情况将停止扫描并返回:
(1)inbuf中碰到非法的多字节序
这种状况下,会设置errno为EILSEQ,并返回-1;
(2)inbuf字节被完全转换
这种状况下,返回转换的字节数
(3)inbuf中碰到不完整的多字节序
这种状况下,设置errno为EINVAL,并返回-1;
(4)outbuf中没有足够的空间以进行下一次的字符转换
这种状况下,设置errno为E2BIG,并返回-1;
情况二:inbuf == NULL,或者*inbuf == NULL;但outbuf != NULL,且*outbuf != NULL
iconv会设置转换状态为初始状态,并保存转换序列到*outbuf。如果outbuf空间不足,errno会设置为E2BIG,返回(size_t) (-1);
情况三:INBUF == NULL,或者*inbuf == NULL; 并且outbuf == NULL,*out == NULL
iconv设置转换状态为初始状态
(3) iconv_close()
函数原型:
int iconv_close(iconv_t cd);
函数功能:
此函数用于关闭转换句柄,释放资源。
示例代码:
封装一个转换类型:
class CCodeConverter
{
public:
CCodeConverter(const char * fromCode, const char * toCode)
{
hCodeConverter=iconv_open(toCode, fromCode);
}
~CCodeConverter()
{
iconv_close(hCodeConverter);
}
//进行转换
int convert(char * srcBuf, int srcLen, char * destBuf, int destLen)
{
//返回转换的字符个数
int nConv=iconv(hCodeConverter, &srcBuf, (size_t *)&srcLen, &destBuf, (size_t *)&destLen);
//如果错误,则获取错误码
nErr=errno;
return nConv;
}
//获取错误信息
int getErrInfo()
{
switch(nErr)
{
case E2BIG:
{
printf("errno:E2BGI(OutBuf空间不够)\n");
break;
}
case EILSEQ:
{
printf("errno:EILSEQ(InBuf多字节序无效)\n");
break;
}
case EINVAL:
{
printf("errno:EINVAL(有残留的字节未转换)\n");
break;
}
default:
break;
}
return nErr;
}
private:
//转换句柄
iconv_t hCodeConverter;
int nErr;
};
以utf-8转为utf-16为例
int main()调试,查看内存,destBuf内容如下: (gdb) print destBuf
{
int srcLen=12;
char * srcBuf=new char[srcLen];
memset(srcBuf, 0, srcLen);
strcpy(srcBuf, "BaiSe");
int destLen=2*srcLen;
char * destBuf=new char[destLen];
memset(destBuf, 0, destLen);
CCodeConverter cv=CCodeConverter("utf-8", "utf-16");
int nRet=cv.convert(srcBuf, srcLen, destBuf, destLen);
if(nRet<0)
{
cv.getErrInfo();
return -1;
}
printf("转换成功\n");
}
$1 = 0x804b018 "\377\376B"
(gdb) print destBuf+1
$2 = 0x804b019 "\376B"
(gdb) print destBuf+2
$3 = 0x804b01a "B"
(gdb) print destBuf+3
$4 = 0x804b01b ""
(gdb) print destBuf+4
$5 = 0x804b01c "a"
(gdb) print destBuf+5
$6 = 0x804b01d ""
(gdb) print destBuf+6
$7 = 0x804b01e "i"
问题:不明白为什么前面有"\377\376",是用来标识编码类型的么?
二、iconv命令
iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。
用法: iconv [选项...] [文件...]
有如下选项可用:
输入/输出格式规范:
-f, --from-code=名称 原始文本编码-t, --to-code=名称 输出编码信息:
-l, --list 列举所有已知的字符集输出控制:
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息
-?, --help 给出该系统求助列表
--usage 给出简要的用法信息
-V, --version 打印程序版本号
例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。