二十六、Scrapy自定义命令

  • 创建命令目录及文件

     

     

  • settings.py中定义命令

   

 

 

  • 代码

    from scrapy.commands import ScrapyCommand


    class Command(ScrapyCommand):
       requires_project = True

       def syntax(self):
           return '[options]'

       def short_desc(self):
           return 'Runs all of the spiders'

       def run(self, args, opts):
           # 获取爬虫列表
           spider_list = self.crawler_process.spiders.list()
           for name in spider_list:
               # 初始化爬虫
               self.crawler_process.crawl(name, **opts.__dict__)
           # 开始执行所有的爬虫
           self.crawler_process.start()

     

  •  

 

posted @   Norni  阅读(191)  评论(0编辑  收藏  举报
编辑推荐:
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· 程序员常用高效实用工具推荐,办公效率提升利器!
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 【译】WinForms:分析一下(我用 Visual Basic 写的)
点击右上角即可分享
微信分享提示