Python小爬虫之协程爬虫快速上手

时间:2025-02-20 09:05:44

文章目录

  • 前言
  • 协程
    • 协程快速上手
    • 协程异步运行
    • 工作流程
    • 任务管理
  • aiohttp
    • 异步保存
    • 异步回调

前言

爬虫是个好东西,最近要用用这玩意,所以顺便把以前的小东西给发出来,水几篇博客~

协程

首先明确一点,线程不是多线程,线程本质上还是单线程,但是这个线程的特点是当当前线程进入到IO状态的时候,CPU会自动切换任务从而提高系统的整体运行效率。没错这个协程其实就和操作系统的多道处理机制是一样的。实现的效果有点类似使用多线程,或者线程池,但是协程是更加轻量级的,本质上就是一个单线程在来回切换。

协程快速上手

那么接下来我们先来体会一下这个协程的功效。
在python里面使用协程,也就是异步,我们需要掌握两个关键字,await 和 async。当然还有一个支持协程的库,asyncio。
我们先来看看代码。

import asyncio
import time
# 协程函数
async def