Java中文字符处理的四大迷题

时间:2023-03-08 17:47:34

虽然计算机对英文字符的支持非常不错,我们也恨不得写的程序只会处理英文的数据,但是昨为中国人,无可避免地要处理一些中文字符。当很简单的一件事情,遇到了中文,一切就不同了!本文就会讲述实际生产环境中遇到的四个中文迷题,欢迎大家参与补充!

1、“我”讲的其它机器听不懂?

当把一串中文字符,通过HTTP、TCP方式传递到另外一个系统时,会经常惊奇地发现,在发送前还是好好的,但是收到后却全坏了!怎么办?下面提供几种情况,对症下药:

(1)发送时使用的GET请求

要特别注意传递参数时,不要直接使用中文(如?key=热情),这基本就宣告了这个代码在某个浏览器、某个机器上,对方收到的东西就是乱码了。必须要对传递的参数进行Url Encode,接受方再进行Url Decode,取出来的数据基本就是OK的了。注:某些Java框架(如Spring)的RestTemplate会自动对GET方式的调用参与进行Encode、Decode,你就可以不用再人工去做了。

(2)使用了byte传递数据

在使用MQ、原生Socket等场景下,有时要用byte传递数据。这时一定要对String的getBytes方法传递编码参数,一般用"UTF-8",且接收方则用new String(bytes, "UTF-8")来构造字符串,不然也有乱码风险!建议对需要用byte传递数据的场景,尽量转为Base64编码的方式进行传递,更方便去调试程序。

(3)设置运行环境编码

如果你的系统默认编码未设置对,那么默认的Java代码运行环境也不对,所以一要在程序运行时对Java代码运行环境进行设置。以Linux Shell为例,在启动应用的shell里,增加

export LANG=en_US.UTF-

这可以保证应用在调用系统命令行时,运行环境是以UTF-8编码的。另外如果是Tomcat,那么的脚本处也加上参数项:

-Dsun.jnu.encoding=UTF- -Dfile.encoding=UTF- -Duser.language=en -Duser.country=US

再修改tomcat默认编码(ISO-8859-1)方法,修改tomcat根目录的conf下的server.xml,Connector元素添加URIEncoding="UTF-8"属性:

<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" URIEncoding="UTF-8" />

这可以保证应用的Java代码的默认运行是在UTF-8编码基础上的,如果需要通信的系统全设置为UTF-8,可以避免诸多编码转换!

2、浏览器不认识“我”?

一般来说,浏览与应用的交互就是GET、POST请求了,当然还有PUT、DELETE请求,不过触类旁通,不需要讲太多。

POST请求的中文数据,经常是可以正常在前后台传递的,但是GET请求就没那么幸运了,一定要记得进行URL Encode与Decode,养成好的编码习惯,减少后续调试代码的难度与时间。

3、猜一猜“我”说的是什么?

在读写含中文文本的文件时,有时候也会读出乱码来,原因是因为程序的运行编码永远只有默认的一种的,那么如果不带编码参数地去读取文件,由于文件编码可能与程序编码不同,最后读出来的就是乱码了。这个时候,就需要写程序去“猜”文件的编码了。

现在有许多开源的识别编码的类库可以直接使用,但是也并不全是ok的,常见的编码能识别就好,像这些:UTF-8、GB2312、GBK、GB18030、UTF-16、US-ASCII、Big5、ISO-8859-1,遇到的概率非常大。我这里推荐几个:EncodingDetecotrjChardet

在读取到byte后,通过编码识别再存为相应的String,就可以得到正常的中文了。

4、听说UTF-8还有BOM?

BOM,在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF,这就是所谓的BOM头了,它的UTF-8编码是EF BB BF。在Windows系统上,默认用记事本存储为UTF-8格式,是有BOM的,但是Linux下却是默认无BOM的。缺了BOM的文件,经常在Windows下就识别出现错位、乱码等问题。解决之道就是在读取文件、byte的前几个字节,如果无BOM就给它加上BOM。

     /**
* 判断文件是否有BOM
*
* @return
*/
public static boolean hasBom(File file) {
FileInputStream input = null;
try {
input = new FileInputStream(file);
byte[] buf = new byte[1024];
if ((input.read(buf, 0, 1024)) != -1) {
if (buf[0] == (byte) 0xEF && buf[1] == (byte) 0xBB && buf[2] == (byte) 0xBF) {
return true;
}
}
return false;
} catch (IOException e) {
_logger.error(e);
return true;
} finally {
if (input != null) {
try {
input.close();
} catch (IOException e) {
_logger.error("资源释放失败!", e);
}
}
}
}

如果无BOM,则在传给Windows的地方或需要导出的地方这前先加上:new byte[] {(byte) 0xEF, (byte) 0xBB, (byte) 0xBF} 这些字节。

以上这些点如果注意了,常见的中文编码问题就解决了,如果还有新的坑,博主会在此更新哈。

转载请注明原址:http://www.cnblogs.com/lekko/p/4943581.html