scrapy的调试和环境安装技巧

时间：2024-03-22 22:37:56

1，先在settings中把ROBOTSTXT_OBEY = False

在主目录下面新建main文件

__autor__ = 'zhouli'

__date__ = '2018/11/3 22:39'

from scrapy.cmdline import execute  # 可以执行scrapy的脚本

import sys

import os

sys.path.append(

    os.path.dirname(os.path.abspath(__file__)))  # os.path.abspath(__file__)获取到main.py的路径，os.path.dirname()获取到父目录

execute(['scrapy', 'crawl', 'project_name'])  # 该方法是讲命令的三个字符传递进来

也就是说需要调试什么命令就这样传输即可

单击鼠标右键debug

2，虚拟环境

安装 pip install -i http://pypi.douban.com/simple/ virtualenv （这个是使用豆瓣源安装）

测试安装  virtualenv --version

让虚拟的python环境可以使用系统的python第三方库 virtualenv --always-copy --system-site-packages venv

cd my_project

virtualenv my_project_env

让我们从头捋一遍：

# 1，新建虚拟环境

virtualenv scrapytest

# 2，进入虚拟环境

cd  scrapytest

cs Scripts

activate.bat  # 运行这个activate.bat文件即可进入虚拟环境（前面有括号的）

deactivate.bat  # 退出虚拟环境（前面括号消失）

# 如何选择python版本？

virtualenv -p C:\\***  # -p后面是python的路径

当需要改变python的版本时候需要在虚拟环境下运行！

但是比较蛋疼的是每一次都需要找到路径，然后运行命令，比较繁琐，如何解决呢？

虚拟环境管理包：

pip install virtualenvwrapper

# 安装完成之后使用workon

workon # 列出所有虚拟环境

mkvirtualenv py3scrapy # 新建一个虚拟环境py3scrapy，然后自动进入虚拟环境

# 注意默认位置

workon py3scrapy # 进入虚拟环境py3scrapy

这样就能够保证环境是独立的

相关文章