摘要: scrapyrt为scrapy提供了一个http接口,有了它,我们不用再执行命令,而是直接请求一个http接口来启动项目,如果项目是部署在远程的,会比较方便。 1、安装: pip install scrapyrt 2、在任意一个项目中运行scrapyrt,再此我们在quotes爬虫项目中运行。默认会 阅读全文
posted @ 2021-10-28 09:21 mingruqi 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 如果只是在Flask中调用Scrapy爬虫,可能会遇到如下错误: ValueError: signal only works in main thread # 或者 twisted.internet.error.ReactorNotRestartable 解决的办法有几个。 1 使用python子进 阅读全文
posted @ 2021-10-28 09:20 mingruqi 阅读(100) 评论(0) 推荐(0) 编辑