python的编码

时间:2022-08-16 07:58:16

python的编码

1、概述

讲述编码,那么就要涉及到几个方面,包括系统中如何来显示字符,文件中如何来保存字符。

1.1 系统环境

在系统中显示字符,那么就必须要考虑到系统中使用的编码格式。

在linux系统中,可以使用如下命令来进行查看系统当前的编码格式:

[root@python pythonexample]# locale

LANG=en_US.utf-8

LC_CTYPE="en_US.utf-8"

LC_NUMERIC="en_US.utf-8"

LC_TIME="en_US.utf-8"

LC_COLLATE="en_US.utf-8"

LC_MONETARY="en_US.utf-8"

LC_MESSAGES="en_US.utf-8"

LC_PAPER="en_US.utf-8"

LC_NAME="en_US.utf-8"

LC_ADDRESS="en_US.utf-8"

LC_TELEPHONE="en_US.utf-8"

LC_MEASUREMENT="en_US.utf-8"

LC_IDENTIFICATION="en_US.utf-8"

LC_ALL=

主要的环境变量就是LANG了,一般在linux系统中,设定了LANG,那么就设定了其他的变量,在如上的显示中为en_US.utf-8,en_US表示区域的选择,一般影响的为时间的显示,显示的格式为美国时间等其他影响,而utf-8则表示字符集环境,在这里使用的是utf-8编码。

在linux系统中可以零时修改环境变量LANG的值,如下:

[root@python pythonexample]# export LANG=zh_CN.utf-8

[root@python pythonexample]# echo $LANG

zh_CN.utf-8

如果要永久生效,那么可以修改用户下的.profile文件,在其中加入上面的命令即可。

在windows环境中一般的编码为gb2312,是默认编码,是不能修改的,特别是在命令行cmd中,采用的是gb2312编码。

1.2 文件保存格式

在文件进行保存的时候,可以选择编码格式来进行保存,一般保存的格式均为utf-8编码。

在linux系统中,在vim中可以使用命令:setfileencoding=utf-8来进行保存,从而保存的格式为utf-8格式。在查看的文件保存的编码格式使用命令:set fileencoding即可看到文件的编码格式,也可以在家目录下创建文件.vimrc,在其中添加的内容如下:

set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936

从而在每次保存文件的时候,不用每次都输入命令来保存文件的格式。

在windows中,如果使用的是notepad++,那么可以在设置里面进行设置,如下:

如果要查看windows的文件的编码格式,那么在用记事本打开的时候,然后选择另存为,那么就可以看到原来的编码格式。

1.3 如何显示

unicode是一种字符集,包括所有的语言格式,而一般的字符串是ascll进行编码的,在python中通用的编码格式为utf-8,unicode可以看做是ascll码的父集合,从而unicode使包含ascll编码的。

在读出文件的时候,根据文件的编码格式,对照字符集,然后显示出来,相当于一个加密的程序,对照密码本,然后进行解码,从而得到最后的结果。

2. 在python中使用中文

通用的格式为unicode编码,从而一般在中文前面都加上一个u,这个就是unicode编码的格式了。

在使用中文的时候,必须在文件头进行声明为utf-8格式的编码,如下所示:

[root@python pythonexample]# cat unicode.py

#!/usr/bin/env python

# -*- coding:utf-8 -*-

在上面中,使用了coding:utf-8来进行声明,使用的是utf-8进行编码,在保存的时候,也要保存为utf-8格式。

另外,必须在中文前面添加一个u表示使用的是unicode字符集。

在linux中使用print输出中文的时候,可以使用以下的方法:

#!/usr/bin/env python

# -*- coding:utf-8 -*-

print u"使用unicode编码" #直接输出为unicode编码,也是可以正确显示的

print u"将unicode转变为uft-8编码".encode("utf-8") #转换为系统utf-8编码

在windows中使用print输出中文的时候,可以使用:

#!/usr/bin/python

# -*-coding:utf-8 -*-

print u"中文".encode("gbk")

print u"中文测试"

从上面可以看出,主要是由于环境变量的不同,从而需要转换成操作系统默认的编码格式,才能够正确的进行显示,也就是unicode编码在linux中,必须转换成系统编码格式utf-8,在windows系统中,必须将unicode编码转换为系统编码格式gbk

3、在raw_input中使用中文

在raw_input中使用中文的方式必须如下所示(linux系统中):

name = raw_input(u"中文".encode("utf-8"))

print name

必须将unicode的编码转变为系统编码,也就是必须转换成utf-8编码。

在widows系统中如下所示:

name = raw_input(u"中文输出".encode("gbk"))

print name

必须将unicode的编码转换为系统编码为gbk编码

4、读写文件时使用中文

linux:

在写入文件的时候,将字符串转换为utf-8编码,然后进行写入;在读出文件的时候,可以转码为unicode,或者是直接输出,如下:

logFile = open("kel.log","w")

logFile.writelines(u"unicode编码转换成utf-8编码写入".encode("utf-8"))

logFile.close()

readFile = open("kel.log","r")

for line in readFile:

print line.decode("utf-8")

readFile.close()

windows:

logFile = open("kel.log","w")

logFile.writelines(u"unicode编码".encode("utf-8"))

logFile.close()

readFile = open("kel.log","r")

for line in readFile:

print line.decode("utf-8")

readFile.close()

从上可以看出,在windows或者是linux系统中,只要进行对应的编码和转码,即可进行正确的显示,不会出现乱码。主要是在进行输出的时候,都是可以直接输出为unicode编码,从而都可以进行转变为utf-8编码,然后在进行转换为unicode编码即可。

5、编码转换

encode 是将unicode编码方式转换为其他的编码

decode 是将其他的编码方式转换为unicode编码