进程管理工具

'''
安装进程管理工具
pip install scrapyd 服务器

pip install sctapyd-clinet 客户端

启动服务器
在命令行启动
scrapyd

启动爬虫
curl http://localhost:6800/schedule.json -d project=zh -d spider=zongheng
{'node_name':'WINDOWS-O9531I0','status':'ok','jobid':'e37dc53b2b9211eda35a5cbaef8903e0'}

打包文件
scrapyd-deploy



列举出所以的项目
curl http://localhost:6800/listprojects.json

关闭爬虫
curl http://localhost:6800/cancel.json -d project=zh -d spider=zongheng -d job=e37dc53b2b9211eda35a5cbaef8903e0

project是项目的名字

删除

curl http://localhost:6800/delproject.json -d project=zh




'''
posted @ 2022-09-06 19:21  冬天不下雨  阅读(33)  评论(0编辑  收藏  举报