Python网络数据采集学习笔记1

时间:2022-12-14 07:25:58

学习笔记

第一章 初识网络爬虫

使用的python版本 python3.5,解析的库是BeautifulSouplxml

如果系统中的python只有一个版本,安装好python控制包pip,然后安装依赖包
安装方式为:

pip install BeautifulSoup lxml

如果系统中存在两种版本的python,那么安装命令为:

python3.5 -m pip install BeautifulSoup lxml

这里假设需要安装到python 3.5上。


第二章 复杂的HTML解析

  1. 网络数据采集就是要从众多的信息中不断的筛选我们所关心的数据。
  2. 解析不友好的网站数据,一定要三思而后行。

BeautifulSoup

  1. BeautifulSoup的 find()findAll()
    find() 查到的是单个标签
    findAll() 查到的是所有的标签列表

  2. BeautifulSoup的对象

    • BeautifulSoup对象
    • 标签Tag对象
    • NavigableString对象
    • Comment对象
  3. 导航树

    • 子标签和后代标签
    • 兄弟标签
    • 父标签
  4. 正则表达式

  5. 获得全部属性
    myTag.attrs 可以获得tag的全部数据