摘要：
ScrapydManage GitHub地址：https://github.com/kanadeblisst/ScrapydManage 码云：https://gitee.com/kanadeblisst/ScrapydManage scrapyd的Windows管理客户端，软件只是将scrapyd 阅读全文
摘要：
假设需求 现在大概有三千个scrapy的爬虫文件，10台机器，如何合理的分配爬虫？什么，这么简单的数学题还要问，一台机器分300个爬虫不就行了。确实，这样分配最简单也最直接，但会带来一些问题。就比如，有些站点网页少而有些网站很大，每个爬虫运行的时间是不一样的，最后可能导致一台累死，九台围观。而且一台 阅读全文