转自:http://www.crifan.com/python_already_got_correct_encoding_string_but_seems_print_messy_code/
【背景】
Python中的字符编码,其实的确有点复杂。
再加上,不同的开发环境和工具中,显示的逻辑和效果又不太相同,尤其是,中文的,初级用户,最常遇到的:
(1)在Python自带的IDE:IDLE中折腾中文字符,结果看到的差不多都是乱码类的东西,比如:’\xd6\xd0\xce\xc4′
(2)将一个中文字符,打印输出到windows的cmd命令行中,看到的是乱码
对此,此处专门整理一下,这些常见的现象,和现象背后的根本原因,以及如何解决这类问题。
背景知识
其实,看下面问题之前,最好是已经了解相关的背景知识,才更容易看懂的:
1.字符编码的基本知识
对于字符编码本身,比如UTF-8,GBK等等,不熟悉的,不了解是啥的话,先去看:
2.Windows的cmd中的默认是GBK编码
这方面不了解的,也需要先去看:
中的:
3.关于IDLE
其实也要先大概了解:
Python内部,默认的字符编码是,是根据操作系统,我们多数都是Windows的中文系统,默认是GBK编码。
而IDLE中,直接输入中文字符,其实就是GBK编码的。
4.Python中的字符串的设计
主要是:Python 2.x中的str和unicode ,和,Python 3.x中的bytes和str,之间的逻辑,转换,和区别。
不了解的,也要先去看:
【整理】Python中字符编码的总结和对比:Python 2.x的str和unicode vs Python 3.x的bytes和str
常见问题:IDLE中看到类似于’\xd6\xd0\xce\xc4’,而不是我想要的中文字符
初学者,最容易遇到的问题就是:
中文用户,用了Python自带的IDLE,在里面输入中文后,结果显示出,类似于:
‘\xce\xd2\xca\xc7\xd6\xd0\xce\xc4’ |
的内容,而不是希望看到输出的中文字符,比如:
此现象的解释是:
实际上,此处你,本身就已经得到了,正确的,默认的GBK编码的,中文字符串:"我是中文"
了。只是:
IDLE这个,Python自带的IDE,不是很好用的IDE,给你显示出来,其内部的16进制的值而已。
1. 对于此点,你可以去用decode去验证一下:
Python 2.7.3 (default, Apr 10 2012, 23:24:47) [MSC v.1500 64 bit (AMD64)] on win32 |
其中,GBK的字符串,经过解码后,就可以得到Unicode的字符串了,对应的显示出来的是:
u’\u6211\u662f\u4e2d\u6587′ |
此处的:
\u6211,\u662f,\u4e2d,\u6587,分别对应着,四个中文字符:"我","是","中","文"
2. 有人会问,我怎么知道这些值,是对应着这四个中文字符的呢?
答案是:
那是因为你不熟悉Unicode。且也不会去查Unicode表格。
等你看了之前告诉你的:
然后再去参考我的:
去查Unicode值,就可以查到“我”对应的Unicode值是0x6211:
同理,可以查得剩下的:
0x662f="是"=\u662f
0x4e2d="中"=\u4e2d
0x6587="文"=\u6587
3.回到上面的问题,接着,还可以接着进一步验证,之前的字符串,的确是GBK:
Python 2.7.3 (default, Apr 10 2012, 23:24:47) [MSC v.1500 64 bit (AMD64)] on win32 |
即:
之前直接输入中文字符所得到的16进制值,和通过GBK解码后得到Unicode,然后再编码为GBK的16进制的值,是一样的
-> 说明之前的中文字符的确是GBK的编码。
4.另外,也可以顺带看看,UTF-8的输出是啥:
Python 2.7.3 (default, Apr 10 2012, 23:24:47) [MSC v.1500 64 bit (AMD64)] on win32 |
所以,总结此问题:
IDLE中输入中文字符,但是显示出来的是类似于’\xd6\xd0\xce\xc4’的值,而不是想要的中文字符
的答案就是:
其实本身已经是中文字符。
只是根据当前默认是GBK编码,所显示出来的GBK编码的内部的值而已。
其实,对此问题,更加终极的解决办法是:
由于IDLE不是很好用,所以不推荐用户,尤其是初学者,直接就用IDLE来开发Python。
而是推荐你用:
Notepad++ 加 cmd
具体的原因和解释,详见:
【整理】【多图详解】如何在Windows下开发Python:在cmd下运行Python脚本,如何使用Python Shell(command line模式和GUI模式),如何使用Python IDE
更更终极的办法是:
这类常见的错误,属于学习Python中所容易走的弯路。
而你要是按照我的教程去学习,不仅可以少走很多弯路,而且更容易明白很多基本的逻辑:
初级的:
中级的:
高级专题阐述:
常见问题:中文字符打印输出显示到命令行(Windows的cmd)显示乱码
和上面的现象类似的一个现象就是:
当用python代码,打印输出一个中文字符到命令中,结果却显示乱码。
(1)用如下代码:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
#!/usr/bin/python # -*- coding: utf-8 -*- """ ------------------------------------------------------------------------------- [Function] 【整理】Python中实际上已经得到了正确的Unicode或某种编码的字符,但是看起来或打印出来却是乱码 [Date] 2013-07-19 [Author] Crifan Li [Contact] ------------------------------------------------------------------------------- """ #---------------------------------import--------------------------------------- #------------------------------------------------------------------------------ def char_ok_but_show_messy():
"""
Demo Python already got normal chinese char, with some encoding, but print to windows cmd show messy code
"""
#此处,当前Python文件是UTF-8编码的,所以如下的字符串,是UTf-8编码的
cnUtf8Char = "我是UTF-8的中文字符串" ;
#所以,将UTF-8编码的字符串,打印输出到GBK编码的命令行(Windows的cmd)中,就会显示出乱码
print "cnUtf8Char=" ,cnUtf8Char; #cnUtf8Char= 鎴戞槸UTF-8鐨勪腑鏂囧瓧绗︿覆
#如果想要正确显示出中文字符,不显示乱码的话,则有两种选择:
#1. 把字符串转换为Unicode编码,则输出到GBK的命令行时,Python会自动将Unicode的字符串,编码为GBK,然后正确显示字符
decodedUnicodeChar = cnUtf8Char.decode( "UTF-8" );
print "decodedUnicodeChar=" ,decodedUnicodeChar; #decodedUnicodeChar= 我是UTF-8的中文字符串
#2. 让字符串的编码和输入目标(windows的cmd)的编码一致:把当前的字符串(由上述解码后得到的Unicode再次去编码)也变成GBK,然后输出到GBK的命令行时,就可以正确显示了
reEncodedToGbkChar = decodedUnicodeChar.encode( "GBK" );
print "reEncodedToGbkChar=" ,reEncodedToGbkChar; #reEncodedToGbkChar= 我是UTF-8的中文字符串
############################################################################### if __name__ = = "__main__" :
char_ok_but_show_messy();
|
注意:
此时Python的文件编码是UTF-8。
不了解的,详见:
【整理】Python中用encoding声明的文件编码和文件的实际编码之间的关系
(2)当前代码下载(右键另存为):
(3)还原现象
运行的结果是:
(4)解释
代码中已经解释的很清楚了。
不再啰嗦。
相关帖子
和此类的,python的字符串编码方面的相关内容,之前有更多的总结: