2020年4月8日
多个scrapy同时执行
摘要： 项目中单机使用shell脚本进行多个scrapy命令的运行，即同个shell进行多个scrapy命令的执行，这样会大大提高爬取效率，好好利用CPU使用率 在shell命令行一次执行多个scrapy命令，可以有三种方式： （一）每个命令之间用 ； 隔开 scrapy crawl a;scrapy cr 阅读全文
posted @ 2020-04-08 11:44 cknds 阅读(313) 评论(0) 推荐(0) 编辑