学习笔记
第一章 初识网络爬虫
使用的python版本 python3.5,解析的库是BeautifulSoup、lxml 。
如果系统中的python只有一个版本,安装好python控制包pip,然后安装依赖包
安装方式为:
pip install BeautifulSoup lxml
如果系统中存在两种版本的python,那么安装命令为:
python3.5 -m pip install BeautifulSoup lxml
这里假设需要安装到python 3.5上。
第二章 复杂的HTML解析
- 网络数据采集就是要从众多的信息中不断的筛选我们所关心的数据。
- 解析不友好的网站数据,一定要三思而后行。
BeautifulSoup
BeautifulSoup的 find() 和 findAll()。
find() 查到的是单个标签
findAll() 查到的是所有的标签列表-
BeautifulSoup的对象
- BeautifulSoup对象
- 标签Tag对象
- NavigableString对象
- Comment对象
-
导航树
- 子标签和后代标签
- 兄弟标签
- 父标签
正则表达式
获得全部属性
myTag.attrs 可以获得tag的全部数据