原因
近期,用Python处理一些中文的字符串,但是用Python读取文件的中文字符和在代码中输入的中文字符,在判断处理时,例如判断“相等”或者“包含”,总是不能判断,相等或者包含都不起作用。看了字符的编码,源文件输入的中文字符,是2个字节表示,读入的文件,是3个字节表示。在网上找了很多资料,大多和我的问题不想关,这里就根据自己的领悟和网上不错的资源跟大家分享一下。
问题分析
不要把Python和Java混淆,Python是脚本语言,不会编译生成可执行文件,而Java会编译代码,形成可执行的class文件,在编码上,Java会在形成class的时候,采用Unicode直接编码类似中文的字符串,而Python,你即使在文件的第一行声明了编码,有时我也感觉不起作用,只是不会在保存时,重复提醒你在代码中使用的特殊字符。
网上有很多decode,encode,看的我一阵头大,以前不知为何物,这里解释一下:字符串在Python内部的表示,都是以Unicode形式,所以在做编码转换时,都是以Unicode作为中间形式;而将其他编码转化为Unicode的过程,成为decode,将Unicode转化成其他编码的过程,成为encode。在源代码中,你输入的,是你编辑器默认的编码,可能是utf-8,,也可能是gbk或者其他编码,所以写代码,你要明白 你的编辑器环境的编码方式。在这里我就是我刚装不久Python,用的是默认的IDE,里面没有设置编码,导致源码中采用了Windows默认的编码“gbk”(2个字节),而我读入的文件则是utf-8表示(三个字节)。而在Python中,它不会自动将这些字符串转成Unicode形式,采用的是什么编码,就是什么编码。所以在比较或者包含时,编辑器里的中文是两个字节,读入的文件,是三个字节,编码格式就不一样,更不要谈比较或者包含了。
解决方法
知道了问题出在哪,那就好解决了。
方法一: 我直接将编辑器环境在设置里面,设置成utf-8,解决问题了。
方法二:对于编辑器里写的中文编码和读取的文件的编码,都decode成Unicode形式。
方法三:通过Unicode形式,转化成一种编码格式,utf-8或者gbk(个人建议utf-8,代码中属于比较默认一类的).
s1 = unicode('你好','gbk') #这里是window是环境,输入的要通过gbk进行Unicode
s2 = unicode(input, 'utf-8') #读入的文件为utf-8,要使用utf-8 #或者用方法二中直接采用 decode,大家可以自己找找,自主学习和实践,是每个IT人必须的
附加
注意一下:window中文默认的是gbk,而Linux默认的一般都是utf-8,这个在编码或者处理字符处理,或者文本处理时,要注意,出了问题可能不是代码的问题。
如果想着更多了解Unicode,utf-8或者其他编码,推荐看看一个博主的博客,《字符编码的发展历程》,博文地址:http://blog.csdn.net/sfdev/article/details/3770706。
我一般写博客都是自己用来记住犯过的错,写的不多,也不会写太多,见谅。文字太多,图片较少,这是大部分IT人最不愿看到的,但是要做个“耐心”的IT人,以此警醒。