【Python3爬虫】Scrapy入门教程

时间:2023-03-08 16:23:07

Python版本:3.5            系统:Windows

一、准备工作

需要先安装几个库(pip,lxml,pywin32,Twisted,pyOpenSSL),这些都比较容易,如果使用的是Pycharm,就可以更方便的安装模块,在settings里可以选择版本进行下载。

如果在命令行模式下输入pip -V出现 'pip' 不是内部或外部命令,也不是可运行的程序或批处理文件,先确保自己在环境变量中配置E:\Python3.5\Scripts,如果环境变量配置没有问题,但还是出现 'pip' 不是内部或外部命令,也不是可运行的程序或批处理文件,可以在命令行模式下输入python -m pip install --upgrade pip,这步操作之后应该就没问题了。

二、安装scrapy库

在E盘新建一个Scrapy文件夹,然后进入文件夹,shift+鼠标右键,然后打开命令窗口。

【Python3爬虫】Scrapy入门教程【Python3爬虫】Scrapy入门教程

在命令行窗口里输入pip install scrapy,就会安装scrapy的最新版本,安装好了之后输入scrapy -h查看相应信息。

【Python3爬虫】Scrapy入门教程【Python3爬虫】Scrapy入门教程

三、创建项目

在开始爬取之前,我们必须创建一个新的Scrapy项目。 进入我们打算存储代码的目录中,运行下列命令::

scrapy startproject Test

该命令将会创建包含下列内容的Test 目录:

Test/
Test/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py

这些文件分别是:

Test/ 该项目的python模块。之后您将在此加入代码。

Test/items.py:  项目中的item文件.

Test/pipelines.py:  项目中的pipelines文件.

Test/settings.py 项目的设置文件.

Test/spiders/:  放置spider代码的目录.

做完上述准备工作之后,就可以开始写我们的第一个scrapy项目了。(n_n)