Scrapy部署相关

安装scrapyd服务

• pip install scrapyd -i https://pypi.tuna.tsinghua.edu.cn/simple 官方文档
• 安装 pip install scrapyd-client 官方文档
• scrapy-deploy 部署建setup.py

from setuptools import setup, find_packages

setup(
    name='project',
    version='1.0',
    packages=find_packages(),
    entry_points={'scrapy': ['settings = projectname.settings']},
)

• scrapyd-deploy -p
• 打包为egg文件scrapyd-deploy -p cybspider -v 1.0.0 --build-egg=cybspider.egg
• 安装spider-admin-pro界面工具 pip install spider-admin-pro spider-admin-pro文档

其他

• scrapyd节点管理

• pip install gerapy

• 初始化gerapy init

• 初始化数据库gerapy migrate

• gerapy initadmin账户密码都是admin

• gerapy runserver 登录 http://127.0.0.1:8000/#/client

• 可以通过界面端进行上传，也可以按照命令上传egg文件

• scrapyd-deploy 20 -p DongCheDi

-- Scrapy shell "http://www.baidu.com"用于调试工具
https://www.cnblogs.com/xpwi/p/9601058.html