二十六、Scrapy自定义命令

• 创建命令目录及文件

  

   

   

• settings.py中定义命令

　　　

 

 

• 代码

  from scrapy.commands import ScrapyCommand
  ​
  ​
  class Command(ScrapyCommand):
      requires_project = True
  ​
      def syntax(self):
          return '[options]'
  ​
      def short_desc(self):
          return 'Runs all of the spiders'
  ​
      def run(self, args, opts):
          # 获取爬虫列表
          spider_list = self.crawler_process.spiders.list()
          for name in spider_list:
              # 初始化爬虫
              self.crawler_process.crawl(name, **opts.__dict__)
          # 开始执行所有的爬虫
          self.crawler_process.start()

   

•