scrapyd+gerapy的项目部署

时间:2024-02-01 15:34:39

scrapyd+gerapy的项目部署:

简单学习,后续跟进完善

声明:

   1)仅作为个人学习,如有冒犯,告知速删!
   2)不想误导,如有错误,不吝指教!

环境配置:

scrapyd下载:

  pip install scrapyd -i https://pypi.com/simple

scrapyd部署:

  scrapyd-deploy -p 项目名

注意:需要切换到项目的根目录下运行

 

scrapyd遇到的问题:

  1. \'scrapyd-deploy\' 不是内部或外部命令,也不是可运行的程序,

  2. 解决方法:

    1. 找到scrapyd-deploy文件(Scripts文件夹下),这里每个人配置的pip安装路径不同 ;

    2. 然后在这个文件夹内创建两个文件,scrapy.bat 和 scrapyd-deploy.bat (新建 txt 文本文档,然后更改后缀名为 .bat)

    3. 编辑scrapyd-deloy.bat:

       @echo off
       #python.exe路径 scrapyd-deploy路径
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe    C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd-deploy %*
       
    4. scrapy.bat编辑:

       @echo off
       #python.exe路径 scrapyd路径
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd %*

      注意:上面路径没有分行,两个路径之间有空格!

    5. 保存,新起cmd,运行scrapyd-deploy -h,出现以下信息即成功:

       1  Usage: scrapyd-deploy [options] [ [target] | -l | -L <target> ]
       2  3  Deploy Scrapy project to Scrapyd server
       4  5  Options:
       6    -h, --help            show this help message and exit
       7    -p PROJECT, --project=PROJECT
       8                          the project name in the target
       9    -v VERSION, --version=VERSION
      10                          the version to deploy. Defaults to current timestamp
      11    -l, --list-targets    list available targets
      12    -a, --deploy-all-targets
      13                          deploy all targets
      14    -d, --debug           debug mode (do not remove build dir)
      15    -L TARGET, --list-projects=TARGET
      16                          list available projects on TARGET
      17    --egg=FILE            use the given egg, instead of building it
      18    --build-egg=FILE      only build the egg, don\'t deploy it

       

  3. 运行部署命令后报错:

    1  C:\Users\Administrator\PycharmProjects\code\xbhog>scrapyd-deploy -p xbhog
    2  Packing version 1595062659
    3  Deploying to project "xbhog" in http://localhost:6800/addversion.json
    4  Deploy failed: <urlopen error [WinError 10061] 由于目标计算机积极拒绝,无法连接。>
    5  C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe: can\'t open file \'C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd\': [Errno 2] No such file or directory

     

  4. 解决方法:

    1. 先在一个cmd窗口执行scrapyd

    2. 然后再用另一个cmd窗口部署项目

 

gerapy安装以及使用:

  pip install gerapy -i https://pypi.com/simple
使用:
  • 1.在本地创建空文件夹

  • 2.进入文件夹,建立项目(gerapy init)

  • 3.进入生成的gerapy文件中

  • 4.对数据库进行初始化(gerapy migrate)

  • 5.创建超级管理员(gerapy initadmin)---账号密码:admin

  • 6.运行:gerapy runserver

 

scrapyd+gerapy搭配使用的效果图:

scrapyd-1

 scrapyd-2