软件版本
python:2.7.12
网页抓取库
网页抓取库为requests,
github地址为:https://github.com/requests/requests,
文档地址为:http://docs.python-requests.org/en/master/
安装很简单,直接使用pip
pip install requests
网页解析库
网页解析库使用beautifulsoup4,其支持多种html解析器,如html5lib,lxml,需要一并安装,推荐使用lxml网页解析器。
安装过程如下:
pip install beautifulsoup4
pip install lxml
pip install html5lib
使用方法:
soup = BeautifulSoup(html_content, "lxml", from_encoding="utf-8")
详细使用方法见《Beautiful Soup 4.4.0 文档》及他人博文《python:BeautifulSoup 模块使用指南》