scrapy 在pycharm中调试 不用到命令行中启动爬虫方法

(目录结构如上图)

在主目录中加入main.py,在其中加入代码,运行此文件就可以运行整个爬虫:

# -*- coding: utf-8 -*-
__author__='pasaulis'
#在程序中运行命令行,方法调试,如:在jobbole.py中打个断点,运行就会停在那

from scrapy.cmdline import execute
import sys
import os

#获取到当前目录:E:\a\scrapy_test\Aticle,方便后面cmd命令运行不必去找目录
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
#测试目录获取是否正确
# print(os.path.dirname(os.path.abspath(__file__)))

#调用命令运行爬虫
execute(["scrapy","crawl","jobbole"])

 

posted @ 2019-05-10 15:52  晨光曦微  阅读(1261)  评论(0编辑  收藏  举报