scrapyd+gerapy的项目部署

scrapyd+gerapy的项目部署：

简单学习，后续跟进完善

声明：

　　　1）仅作为个人学习，如有冒犯，告知速删！
　　　2）不想误导，如有错误，不吝指教！

环境配置：

scrapyd下载：

　　pip install scrapyd -i https://pypi.com/simple

scrapyd部署：

　　scrapyd-deploy -p 项目名

注意：需要切换到项目的根目录下运行

 

scrapyd遇到的问题：

  1. 'scrapyd-deploy' 不是内部或外部命令，也不是可运行的程序,

  2. 解决方法：

    1. 找到scrapyd-deploy文件（Scripts文件夹下），这里每个人配置的pip安装路径不同 ；

    2. 然后在这个文件夹内创建两个文件，scrapy.bat 和 scrapyd-deploy.bat （新建 txt 文本文档，然后更改后缀名为 .bat）

    3. 编辑scrapyd-deloy.bat：

       @echo off
       #python.exe路径 scrapyd-deploy路径
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe    C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd-deploy %*
       ​

    4. scrapy.bat编辑：

       @echo off
       #python.exe路径 scrapyd路径
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd %*

      注意：上面路径没有分行，两个路径之间有空格!

    5. 保存，新起cmd，运行scrapyd-deploy -h,出现以下信息即成功：

       1  Usage: scrapyd-deploy [options] [ [target] | -l | -L <target> ]
 2  ​
 3  Deploy Scrapy project to Scrapyd server
 4  ​
 5  Options:
 6    -h, --help            show this help message and exit
 7    -p PROJECT, --project=PROJECT
 8                          the project name in the target
 9    -v VERSION, --version=VERSION
10                          the version to deploy. Defaults to current timestamp
11    -l, --list-targets    list available targets
12    -a, --deploy-all-targets
13                          deploy all targets
14    -d, --debug           debug mode (do not remove build dir)
15    -L TARGET, --list-projects=TARGET
16                          list available projects on TARGET
17    --egg=FILE            use the given egg, instead of building it
18    --build-egg=FILE      only build the egg, don't deploy it

       

  3. 运行部署命令后报错：

    1  C:\Users\Administrator\PycharmProjects\code\xbhog>scrapyd-deploy -p xbhog
2  Packing version 1595062659
3  Deploying to project "xbhog" in http://localhost:6800/addversion.json
4  Deploy failed: <urlopen error [WinError 10061] 由于目标计算机积极拒绝，无法连接。>
5  C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe: can't open file 'C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd': [Errno 2] No such file or directory

     

  4. 解决方法：

    1. 先在一个cmd窗口执行scrapyd

    2. 然后再用另一个cmd窗口部署项目

 

gerapy安装以及使用：

　　pip install gerapy -i https://pypi.com/simple
使用：

  • 1.在本地创建空文件夹

  • 2.进入文件夹，建立项目（gerapy init）

  • 3.进入生成的gerapy文件中

  • 4.对数据库进行初始化（gerapy migrate）

  • 5.创建超级管理员（gerapy initadmin）---账号密码：admin

  • 6.运行：gerapy runserver

 

scrapyd+gerapy搭配使用的效果图:

scrapyd-1

 scrapyd-2

posted @ 2020-07-25 15:56  Xbhog  阅读(902)  评论(0)  编辑  收藏  举报