python读取网页常用以下两个方式:
from urllib.request import urlopen
import requests
urlopen使用read()方法,requests使用text属性即可。
解析使用
from bs4 import BeautifulSoup
soup=BeautifulSoup(content, ‘lxml’)
但是,当启动程序打开一个URL时,如果不设置userAgent,服务器获取不到request的浏览器类型、操作系统、硬件平台等信息,无法得知发送这个请求的是浏览器,往往判定这是非正常的访问,如spider程序,则可能会出现
HTTPError: HTTP Error 403: Forbidden
因此,F12打开开发者工具,选择Network,搜索User-Agent,找到对应的信息,复制下来,设置给header属性,这样就可以顺利访问了。
把这个字符串赋值给header即可。
最后,在请求访问时就可以获取正常的网页内容解析了。