Scrapy命令和备注

Scrapy命令和备注

1.创建一个新项目(命令行)

• project是项目名

scrapy startproject <project_name>

2.调试项目(pycharm)

• 在pycharm中新建cmdline.py

from scrapy import cmdline

# 可以加断点，右键debug运行
if __name__ == '__main__':
    # execute的参数类型为一个列表
    cmdline.execute('scrapy crawl wenshu'.split())

• 加断点，debug运行即可

3.暂停和重启项目(命令行)

• spidername是爬虫的名字
• JOB_DIR是写在项目的settings.py中的
• 暂停爬虫

ctrl + c

• 继续爬虫

scrapy crawl <spidername> -s JOBDIR=<JOB_DIR>