关于Python文档读取UTF-8编码文件问题

时间:2023-01-05 10:23:51

近来接到一个小项目,读取目标文件中每一行url,并逐个请求url,拿到想要的数据。

#-*- coding:utf-8 -*-
class IpUrlManager(object):
def __init__(self):
self.newipurls
= set()
#self.oldipurls = set()

def Is_has_ipurl(self):
return len(self.newipurls)!=0

def get_ipurl(self):
if len(self.newipurls)!=0:
new_ipurl
= self.newipurls.pop()
#self.oldipurls.add(new_ipurl)
return new_ipurl
else:
return None

def download_ipurl(self,destpath):
try:
f
= open(destpath,'r')
iter_f
= iter(f)
lines
= 0
for ipurl in iter_f:
lines
= lines + 1
self.newipurls.add((ipurl.rstrip(
'\r\n'))
#log记录读取了多少行IP url
#print lines
finally:
if f:
f.close()

咋一眼看code写的没问题,每一个url 增加进newipurls set集合中。但是请求的过程中,requests.get后,会出现如下错误:

raise InvalidSchema("No connection adapters were found for '%s'" % url)

关于Python文档读取UTF-8编码文件问题

后来发现每次都是第一行的url请求失败。然后打印print 请求的url。也没发现异常。然后从根源上去找,好吧,print打印newipurls set集合看看。

果然,问题就在这里。

关于Python文档读取UTF-8编码文件问题

奇怪,为什么这个URL前面为默认加上了\xef\xbb\xbf 这几个字符呢?

 

上网看了一些资料,原来在python的file对象的readline以及readlines程序中,针对一些UTF-8编码的文件,开头会加入BOM来表明编码方式。

何为BOM?

所谓BOM,全称是Byte Order Mark,它是一个Unicode字符,通常出现在文本的开头,用来标识字节序(Big/Little Endian),除此以外还可以标识编码(UTF-8/16/32)。

其实如果大家有UltraEdit tool可以发现,在另存为文件的时候,可以保存为UTF-8 和UTF-8 无BOM的文件。

关于Python文档读取UTF-8编码文件问题

如果将文件另存在UTF-8的格式,则文件的开头默认会增加三个字节\xef\xbb\xbf。

怎么检测该文件是否为UTF-8 带BOM的呢?

import codecs
def download_ipurl(self,destpath):
try:
f
= open(destpath,'r')
iter_f
= iter(f)
lines
= 0
for ipurl in iter_f:
lines
= lines + 1
if ipurl[0:3] == codecs.BOM_UTF8:
self.newipurls.add((ipurl.rstrip(
'\r\n')).lstrip('\xef\xbb\xbf'))
#print self.newipurls
#log记录读取了多少行IP url
#print lines
finally:
if f:
f.close()

引用codecs模块,来判断前三个字节是否为BOM_UTF8。如果是,则剔除\xef\xbb\xbf字节。

其实大家可以通过其他方式剔除BOM字节,我写的比较粗糙。