1.在计算机处理的程序中,对字符的处理有两种方式:编码或译码(encoding),解码(decoding)
encoding:将字符串中的字符转换到对应编码字符集对应的代码点
每一个代码点对于了一些数字,计算机真正存的是这些数字
如:
"python",转换到unicode码的对应为:
P y t h o n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
decoding:将别的编码解析为当前环境的编码,如当前环境是unicode,则
string.decode('utf8'),将将字符串从utf8转换为unicode
2.几种编码:
ASCLL, unicode, Latin-1又名ISO-8859-1
ASCLL:表示的范围为:0--127的字符
unicode: 表示的范围为0--(2^16-1)个字符
Latin-1或ISO-8859-1:0--(2^16-1)个字符
UTF-8:(Unicode Transformation Format),8表示使用8位数字编码,
表示的范围很广,有一个字节,两个字节,三个字节存储的
其中:unicode和Latin-1编码的前127个字符编码跟ASCLL一样,后面的unicode和
Latin-1不一样,所以当unicode和latin-1转码为ASCLL时,若都是英文,
是不会出错的,当是中文时,会出错,而当unicode转换为Latin-1时,只转换
大于127的字符编码的字符就可以了
ISO-8859-1编码是单字节编码，向下兼容ASCII，其编码范围是0x00-0xFF，
0x00-0x7F之间完全和ASCII一致，0x80-0x9F之间是控制字符，0xA0-0xFF
之间是文字符号。
UTF-8:编码的规则:
1,如果代码点小于128,用一个字节存,这个和ASCLL兼容的
2,如果代码点的范围为128 -- 255,用两个字节存储
3,大于255的有的以三个字节存储,有的以四个字节存储
UTF-8的一些方便的特性:
1,可以操作unicode的代码点
2,一个unicode字符集编码的字符串,存在的编码中不含有0字节,这避免了字节的
排序问题,意味着,utf-8字符串可以使用C风格的函数如strcpy()来处理字符串,
(C语言中遇到0为字符串截至了)
3,一个ASCLL字符串也是有效的UTF-8字符串
4,utf-8使用紧凑压缩,大多数的代码点都转换为两个字节,小于128的转换
为一个字节
3.python 默认编码是ASCLL,所以要展示中文时,应该加一句其他编码声明,如utf-8,
在文件的第一或第二句添加:# -*- coding:utf-8 -*-
当文件中出错时,会报错不支持的ASCLL码,英文中文编码后,大于127,所以报错
4,python中unicode的应用:
1,unicode是python中内置的存储类型,这个来源于抽象数据类型basestring,这
也是str的祖先,如果想判断一个字符串类型的值可以这样:
if isinstance(value, basestring),python呈现unicode字符串在16位和32位
之间,这个依赖于相应的解析器
2,unicode()构造函数:
unicode(string, encoding, errors),string是将要被转换为unicode码
的字符串,encoding指定原字符串的字符集,errors有三个值:strict出现
转码错误时,报异常UnicodeDecodeError,replace将其以FFFD存储,ignore
不管这个错误,丢失掉这个字符
不写encoding时,默认为ASCLL码,如:
例子1:
>>> unicode('python')
u'python'
例子2:
>>> unicode('python' + chr(255))
Traceback (most recent call last):
...
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in
position 6: ordinal not in range(128)
例子3:
>>> unicode('\x80abc', errors='strict')
Traceback (most recent call last):
...
UnicodeDecodeError: 'ascii' codec can't decode byte 0x80 in position 0:
ordinal not in range(128)
例子4:
>>> unicode('\x80abc', errors='replace')
u'\ufffdabc'
例子5:
>>> unicode('\x80abc', errors='ignore')
u'abc'
3,使用unichr()函数可以自定代码点的值,得到对于的unicode表示
ord()函数可以将unicode编码格式得到其对应的十进制数字
如:
>>> unichr(409600)
u'\ua000' -> a000 = b1010000 00000000 = 40960
>>> ord(u'\ua000')
40960
4,因为unicode兼容8位的ASCLL编码,所以,对于英文字符串,或代码的值小于
128的都可以用一些8位字符串类型的操作,如搜索,格式化等:
string.count('e') -->计算字符串string中的e出现的次数
string.find('feather') -->查找在string中出现字串feather的第一个位置
找到返回第一个位置,为找到返回-1
string.replace('from','to'),将string中的所有from替换为to
但如果是大于127的使用这些函数,就会报错,如
>>> s = 'python'
>>> s.find('was\x9f')
Traceback (most recent call last):
...
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in
position 3: ordinal not in range(128)
5,string.encode(encoding, error)函数:
改函数为将string编码为指定的编码,error的参数跟unicode()函数类似
但前提是,原来的编码已经是8位数字的编码了,所以,在使用前,应该是:
1,string.decode('utf8').encode('utf8'),decode('utf8'),
将字符串string从utf8解析为unicode码,然后转换为utf8
2,string.decode('gbk').encode('utf8'),将原来的字符串从gbk编码
转换为unicode码,然后转换为utf8
如:
#原始字符串,包含了代码点为40960的字符,也有小于128的字符串abcd
>>> u = unichr(40960) + u'abcd' + unichr(1972)
#转换为对应的utf-8编码
>>> u.encode('utf-8')
'\xea\x80\x80abcd\xde\xb4'
#转换为对于的ASCLL码,由于有大于127的代码点,报错
>>> u.encode('ascii')
Traceback (most recent call last):
...
UnicodeEncodeError: 'ascii' codec can't encode character
u'\ua000' in position 0: ordinal not in range(128)
#当参数为ignore时,大于127的代码点的数据丢失
>>> u.encode('ascii', 'ignore')
'abcd'
#有两种替换方式,都可以使用
>>> u.encode('ascii', 'replace')
'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
'ꀀabcd'