最近在进行网络爬虫时，被中文的编码问题搞得很头疼，特别是在windows环境下。
1.爬取到的中文网页内容，在解析时出现解析错误
一般情况下，我们都是用urllib中的相关函数，进行web页面的爬取，然后进行相关处理。
但是经常在处理中文web时，对文本内容的处理，经常出现一些编码错误。
为了彻底解决这个问题，一般是先编码再解码，但是还是会儿出现一些问题……
后来，我的解决办法：
使用requests库，很好地支持非英文字符。
import requests
response = requests.get(url)
response.encoding = 'utf-8' #显示地制定网页编码，一般情况下可以不用
html = response.text #html的内容都是用utf-8的编码规则编码的
bsobj = BeautifulSoup(html, 'html.parser')
2.中文编码输出到文件中
只需在打开文件时，传入相应的关键字参数即可
fileobj = open(file,'w',encoding='utf-8')
其它流程不变