一直以来,很多人疑惑scrapy提供的scrapyd该怎么用,于我也是。自己在实际项目中只是使用scrapy crawl spider,用python来写一个多进程启动,还用一个shell脚本来监控进程,并没有使用scrapy提供的scrapyd,那么到底scrapyd能为我们做什么呢?
下面从示例说起,然后进入源码层分析scrapyd为我们做了什么。