UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

时间:2023-01-04 20:20:06

最近在学python3一直遇到这个错误,在网上查了很多,说是windows系统的问题云云。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
# @Time:2018/5/4 17:11
# @Author: wardseptember
# @File: GenWordCLoud.py
import jieba
import wordcloud
#f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='utf-8',errors='ignore')
f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='utf-8')
ftxt=f.read()
f.close()
lx=jieba.lcut(ftxt)
txt=" ".join(lx)
w=wordcloud.WordCloud( font_path = "C:/Windows/Fonts/msyh.ttc",width=1000,height=700,background_color='white',\
                      )
w.generate(txt)
w.to_file('test.png')

此程序执行之后出现错误,说是无法转成utf-8。

解决方法:
将utf-8改成gbk

f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='gbk')

运行程序结果如下,不再报错。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

utf-8与gbk的区别与联系:
字符均使用双字节来表示,只不过为区分中文,将其最高位都定成1。
至于UTF-8编码则是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24位(三个字节)来编码。对于英文字符较多的论坛则用UTF-8节省空间。
GBK包含全部中文字符;UTF-8则包含全世界所有国家需要用到的字符。
GBK是在国家标准GB2312基础上扩容后兼容GB2312的标准(好像还不是国家标准)
UTF-8编码的文字可以在各国各种支持UTF8字符集的浏览器上显示。
比如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,而无需他们下载IE的中文语言支持包。 所以,对于英文比较多的论坛 ,使用GBK则每个字符占用2个字节,而使用UTF-8英文却只占一个字节。
UTF8是国际编码,它的通用性比较好,外国人也可以浏览论坛,GBK是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大