python学习之路 三:字符编码

时间:2021-09-06 17:52:45

本节重点

  • 彻底掌握字符编码之前的转换关系

  • 掌握 python2 vs python3 上编码的区别

  • 掌握 python2 和python3 上bytes,str 的区别

补充知识点:三元运算

​三元运算又称为三目运算,是对简单的条件语句的简写,如:

​if 条件成立:

​    ​val = 1

​else:

​    ​val = 2

​改写成三元运算:

​val = 1 if 条件成立 else 2

​C#中的写法 int i = 条件成立?1:2

一.字符编码方式

  • ASCII 占1个字符,只支持英文

  • GB2312 占2个字符,支持6700+汉字

  • GBK GB2312的升级版,支持21000+汉字

  • Shift-JIS 日本字符

  • ks_c_5601-1987 韩国编码

  • TIS-620 泰国编码

​由于每个国家都有自己的字符编码方式,所以其对应关系也覆盖了自己国家的字符,但是以上编码都存在局限性,即:仅覆盖本国字符,无其他国家字符的对应关系,应运而生出现了万国码,他覆盖了全球所有的文字和二进制的对应关系。

  • Unicode 2-4字节,已收录了136690个字符,并还在一直不断扩张中..

​Uncode起到了2个作用:

​    ​1.直接支持全球所有语言,每个国家都可以不用再使用自己之前的旧编码了,用uncode就可以了。

​    ​2.unicode包好了全球所有国家编码的映射关系。

​Unicode解决了字符和二进制的对应关系,但是使用unicode表示一个字符,太浪费空间。例如:unicdoe表示“python”需要12个字节才能表示,比原来用ASCII多了一倍,这在进行网络传输,和硬盘存储时是不能容忍的。

​为了解决存储和网络传输的问题,出现了额Unicode Tranformation Format,学术名UTF,即对unicode进行转换,以便于在存储和网络传输时可以节省空间!

  • UTF-8:使用1,2,3,4个字节表示所有字符;优先使用1个字符、无法满足则使增加一个字节,最多4个字节。英文占1个、欧洲语系占2个、东亚占3个、其他及特殊字符占4个。

  • UTF-16:使用2、4个字节表示所有字符;优先使用2个字符、佛则使用4个字节表示。

  • UTF-32:使用4个字节表示所有字符。

总结:UTF是为unicode编码设计的一种在存储和传输时节省空间的编码方案。

二.字符在硬盘上的存储

​无论以什么编码在内存里显示字符,存在硬盘上都是2进制。

​要注意的事,存到硬盘上时是以何种编码存的,再从硬盘上读出来时,就必须以何种编码读,要不然就乱了。

三.编码的转换

​虽然有了unicode和utf-8,但是由于历史问题,各个国家依然在大量使用自己的编码,比如中国的windows,默认编码就是gbk,而不是utf-8。

​基于此,如果中国的软件出口到美国,在美国人的电脑上就会显示乱码,因为他们没有gbk编码。

​为了解决这个问题,就需要使用到unicode的第2个作用,即unicdoe和各国编码的映射关系。

​gbk开发的软件,unicode能自动知道他在unicode中的编码是什么。这样一来,无论你以什么编码存储的数据,只要你的软件吧数据从硬盘里读到内存里,转成unicode来显示,就可以了。由于所有的系统、编程语言都默认支持unicode,那你的bgk软件放在美国电脑上,加载到内存里,变成了unicode,中文就可以正常显示了。

四.python3的执行过程

​1.解释器找到代码文件,把代码字符串按文件头的定义的编码加载到内存,转成unicode。

​2.把代码字符串按语法进行解析

​3.所有的变量字符都会以unicode编码声明

五.编码转换过程

​根据上述所示,python3可以直接读取硬盘上以utf-8编码格式的.py文件,因为python3会把utf-8转成unicode再展示。但是,并不是所有的软件默认编码都是unicode,python2就不是。python2依然使用的是ascii编码方式,当python2打开utf-8格式的文件时会出现乱码。解决的方案有两个,一是python2以utf-8格式打开文件,二是python2以unicode格式打开文件。这时就需要用到编码转换。

​我们来看看Py3自动把文件编码转为unicode是调用了什么方法。

​UTF-8 --> decode解码 -->Unicode

​Unicode --> encode编码 --> GBK / UTF-8

六.python bytes类型

​python2中bytes==str,字符串就是一个个用16进制表示的2进制字节,之所以以16进制来表示,是为了增加可读性。我们称之为bytes类型,即字节类型,它把8个二进制一组称为一个byte,用16进制来表示。除此之外,python2里还有一个单独的类型unicode,把字符串解码后,就会变成unicode。

​python3中str和bytes分开了,str就是unicode格式的字符,bytes就是单纯的二进制。

​注意:python只要出现各种编码问题,无非是哪里的编码设置出错了

​常见的编码错误原因有:

      • python解释器的默认编码

      • python原文件的文件编码

      • Terminal使用的编码

      • 操作系统的语言设置

掌握了编码之前的关系后,挨个排错就好了