scrapy -- 暂停爬虫、恢复爬虫

1、启动爬虫
scrapy crawl spider -s JOBDIR=record/spider-1
record/spider-1表示一个路径，作用是记录爬虫状态

2、暂停爬虫
  • 终端输入Ctrl+C，此时爬虫并不会立即停止，需要等待一会
  • 当终端出现可以敲击命令时，说明爬虫已暂停

3、恢复爬虫
scrapy crawl spider -s JOBDIR=record/spider-1

 



posted @   珊瑚贝博客  阅读(154)  评论(0)  编辑  收藏  举报
相关博文：
·  python爬虫scrapy之如何同时执行多个scrapy爬行任务
·  爬虫中scrapy管道的使用
·  scrapy的暂停与重启
·  Scrapy自带的断点续爬JOB-DIR参数
·  爬虫_scrapy_基本使用
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· winform 绘制太阳，地球，月球 运作规律
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 上周热点回顾（3.3-3.9）
· 超详细：普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
点击右上角即可分享
微信分享提示
AI IDE Trae