关于python中的unicode字符串的使用

时间:2023-03-08 15:50:23

基于python2.7中的字符串:

unicode——》编码encode('utf-8')——》写入文件

读出文件——》解码decode('utf-8')——》unicode

在使用unicode的时候,必须注意以下的原则:

1、 程序中出现字符串的地方加前缀u,表示为unicode类型

2、不要使用str函数,在使用的时候使用unicode函数

3、不要使用string模块

4、只有在写入文件或者数据库或者网络的时候,才使用encode函数来进行编码发送;只有在把数据读取回来的时候,才使用decode进行解码

在使用读写unicode数据库的时候,注意几个方面:

1、数据库服务器,例如mysql,只要每个表使用utf-8格式来进行编码即可

2、数据库适配器,例如mysqldb,在connect()方法中使用use_unicode方法

3、web开发框架,例如django,进行更多的设置

#!/usr/bin/env python
#-*- coding:utf-8 -*- #声明为unicode编码文件,否则会报错 CODEC = 'utf-8'
FILE = 'unicode.txt' hello_out = u'Hello KEL,中文测试\n'
bytes_out = hello_out.encode('utf-8') #在写入文件的时候进行编码为utf-8,从而保存在文件中的编码为utf-8
f = open(FILE,'w')
f.write(bytes_out)
f.close() f = open(FILE,'r')
hello_in = f.read()
bytes_in = hello_in.decode(CODEC)#读出文件的时候,进行解码,从utf-8进行解码,解码为unicode类型
f.close()
print bytes_in,

以上的程序为当写入文件的时候,必须进行编码,从而在文件中保存为正确的编码格式;在读出文件的时候,进行适当的解码,从而转换为unicode编码来进行处理。

在进行使用unicode编码的时候,必须声明此文件使用的编码类型,否则会报错,报错内容如下:

[root@python 48]# python uniFile.py
File "uniFile.py", line 6
SyntaxError: Non-ASCII character '\xe4' in file uniFile.py on line 6, 
but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

python对unicode的支持:

1、内建的unicode函数,用来生成unicode函数——通过一个字节串和编码方法显式的创建一个unicode字符串,通常不指定编码方式的字节串是没有任何意义的。

>>> kel = unicode('kel','utf-8')
>>> print kel
kel
>>> kel
u'kel'

2、内建的decode方法和encode方法,一个是进行编码,一个是进行解码

3、unicode字符串对象是basestring的子类,使用u或者U来创建实例,在支持原始字符串的时候,可以使用ur或者UR,u必须写在r的前面

>>> kel = ur'this is 汉字'
>>> kel = ru'this is 汉字'
File "<stdin>", line 1
kel = ru'this is 汉字'
^
SyntaxError: invalid syntax

4、 在对象中,如果一个对象包含一个__unicode__()方法,那么可以将一个对象转换为unicode对象

>>> kel = '汉字'
>>> kel
'\xe6\xb1\x89\xe5\xad\x97'
>>> kel.encode('utf-8')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)

在进行编码解码的时候,默认是使用ascii编码来进行解码,如果出现以上错误,或者是UnicodeEncodeError,那么均表示为在进行编码或解码的时候不正确,没有正确的创建一个unicode对象。

1、 无论何时,当你的程序接收到来自网络或者文件或者用户输入等的时候,应当立即创造一个unicode对象,找出最合适的编码,使用decode来进行创建unicode对象。

2、无论何时,当你的程序要发送文本数据到网络或者写入文件或者输出等的时候,应该探查正确的编码,并用呢种编码将你的文本转变为字节串,使用encode方法来进行发送数据

创建一个unicode字符串:

>>> kel = unicode('中文string','utf-8')
>>> print kel
中文string

将unicode转变为python字符串:

>>> kel = unicode('中文string','utf-8')
>>> print kel.encode('utf-8')

将python字符串转变为unicode:

>>> kel = unicode('中文string','utf-8').encode('utf-8').decode('utf-8')
>>> print kel
中文string

将unicode对象转变为字节串,称之为对该字符串进行编码;

从基于字节的对象中载入一个unicode字符串,必须对齐进行解码,将从字节串转换为字符,也就是unicode对象

当处理字节串和unicode编码的时候:

会将字节串转换成unicode编码,在隐式的情况下,并且假设字节串为ascii编码,如果包含非ascii编码,那么将会有unicodedecodeerror的异常发生。

在默认进行转换的时候,都是使用ascii编码进行转换。——从而在每次报错的时候,都是ascii异常编码或者解码异常,