其实是对昨天爬取数据中遇到的一个小问题的总结：
在中文数据爬取时，遇到了一个小问题就是数据格式不对
\u9f3b\u7aa6\u6d46\u6db2\u56ca\u80bf这种格式的数据，这明显是中文编码的原因。所以对这一部分的知识做了一个小的学习总结。
一、ASCII
计算机的内部只认 二进制 0，1的状态，通常8个二进制代表一个字节，这是计算机最小的存储单位，一个字节可以有 2^8 = 256 个状态。 最开始，美国制定了一套具有128个状态的字符编码，这被称为ASCII码， 这128个字符还包括了大小写和一些键盘的控制符号，比如 空格 ASCII码为32 （00100000），这套ASCII 码基本适用了以英文为基础的国家计算机编码
但是中国的汉字文化博大精深，ASCII码肯定满足不了，有出现了适用于中文的GBK系列编码
二、GBK系列编码
小于127号的还是继续使用，并且用2个大于127的字节表示一个中文字符，前面的一个字节（称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的 全角 字符，而原来在127号以下的那些就叫 半角 字符了。 于是就把这种汉字方案叫做 “GB2312“。GB2312 是对 ASCII 的中文扩展。
三、Unicode
除了使用最多的中英文外，还有日文、韩文、泰文等等，既然语言如此多样，而各种编码规则又是乱成一锅，因此为了实现统一，国际标谁化组织废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码，这个编码成为unicode
unicode 编码规定保留之前的ASCII 的字符，并把所有的字符都用两个字节 去表示，这一规定虽然统一了编码的规范，但是出现的严重问题是大量的浪费存储的空间，计算机编程大部分都是英文字符，而英文字符使用一个字节就足够表示了，unicode 编码规定所有的字符都表示成 两个字节，即英文字符会在另一个字节中补0，大大浪费了空间。
四、utf-8
utf-8 的编码规则规定，像英文这样的简单字符用单字节表示，而像中文这样复杂的字符用三个字节表示。
UTF-8 的编码规则很简单，只有二条：
1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的 Unicode 码。因此对于英语字母，UTF-8 编码和 ASCII 码是相同的。
2）对于n字节的符号（n > 1），第一个字节的前n位都设为1，第n + 1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的 Unicode 码。
但是python对字符编码的处理有点小复杂
utf-8和gbk编码之间不能之间转换，要在unicode之间过个场才能转换
五、字符转换
python中有两个很好用的函数 decode() 和 encode()
decode(‘utf-8’) 是从utf-8编码转换成unicode编码，当然括号里也可以写\'gbk\'
encode(\'gbk\') 是将unicode编码编译成gbk编码，当然括号里也可以写\'utf-8\'
Ps：json.loads()函数
json.loads()用于将str类型的数据转成dict的同时可以进行转码