一、爬虫协议

　　与其它爬虫不同，全站爬虫意图爬取网站所有页面，由于爬虫对网页的爬取速度比人工浏览快几百倍，对网站服务器来说压力山大，很容易造成网站崩溃。为了避免双输的场面，大家约定，如果网站建设者不愿意爬虫访问某些页面，他就按照约定的格式，把这些页面添加到 robots.txt 文件中，爬虫应该主动避免访问这些页面。除此之外，作为爬虫编写者也应该主动控制爬虫访问速度。

　　访问 robots 协议的方式是：网站域名＋\'/robots.txt\'。

二、处理爬虫协议

import urllib.robotparser

url = \'https://ai.baidu.com\'
rp = urllib.robotparser.RobotFileParser()
rp.set_url(url + \'/robots.txt\')
rp.read()
info = rp.can_fetch("*", \'https://ai.baidu.com/product/minos\')
print(info)

三、全站爬虫的基本架构

　　爬虫从一个 URL 开始访问，通常是网站的域名，并将获得网页中的链接提取出来，去重后放入待访问列表。重复此操作，知道访问完网站内全部网页。

　　需要注意的是，全站爬虫通常只爬取网站的内部链接

四、网页链接提取

from requests_html import HTMLSession
session = HTMLSession()
origin = \'https://ai.baidu.com\'
r = session.get(origin)
print(r.html.links)

五、链接过滤

　　使用 urllib 库过滤所有非内部链接，继续运行下面的代码，观察结果：

from urllib.parse import urlparse
from requests_html import HTMLSession
session = HTMLSession()
origin = \'https://ai.baidu.com\'
r = session.get(origin)
print(r.html.links)

domain = \'ai.baidu.com\'

def is_inner_link(link):
    netloc = urlparse(link).netloc
    return (not netloc) or (netloc == domain)
    
for link in r.html.links:
    print(is_inner_link(link), link)

　　除了过滤非内部链接外，还需要把已经访问过的链接、爬虫协议不允许的链接和你不想访问的链接都过滤掉。

六、百度AI爬虫实现

from requests_html import HTMLSession
import urllib.robotparser
from urllib.parse import urlparse

session=HTMLSession()
origin= \'https://www.xuexi.cn/\'
domain=urlparse(origin).netloc


def is_inner_link(link):
    netloc=urlparse(link).netloc
    return (not netloc) or (netloc==domain)

visited = []  # 已访问链接列表
unvisited = [origin]  # 待访问链接列表

# 解析爬虫协议
rp = urllib.robotparser.RobotFileParser()
rp.set_url(origin + \'/robots.txt\')
rp.read()

def add_unvisited(link):
    # 过滤1：判断爬虫协议是否允许
    allow = rp.can_fetch(\'*\', link)
    if not allow:
        return

    # 过滤2：判断是否为内链
    if not is_inner_link(link):
        return

    # 过滤3：去掉非法链接
    path = urlparse(link).path
    if not path.startswith(\'/\'):
        return

    # 过滤4：自定义过滤
    if urlparse(link).path.startswith((\'/file\', \'/docs\', \'/support\', \'/forum\', \'/broad\', \'/paddlepaddle\', \'/market\',
                                       \'/download\', \'/facekit\', \'/sdk\', \'/customer\', \'/easydl\', \'//\')):
        return

    # 将 /tech/123 转换为 https://ai.baidu.com/tech/123 的形式
    if link.startswith(\'/\'):
        link = origin + link

    # 过滤5：判断是否访问过，或已经添加到待访问列表
    if (link in visited) or (link in unvisited):
        return

    unvisited.append(link)

while len(unvisited):
    link=unvisited.pop()    #用于移除列表中的一个元素
    r=session.get(link)
    visited.append(link)
    if r.html and r.html.links and len(r.html.links):
        for url in r.html.links:
            add_unvisited(url)

    if r.html.find(\'head title\')[0]:
        print(r.html.find(\'head title\')[0].text,link)

print(\'共爬取{}个链接\'.format(len(visited)))

秒客网

百度AI搜索引擎