scrapyd scrapy调度服务
scrapyd 是官方出的调度服务，对于部署可以结合scrapyd-client，以下是一个简单说明
配置
scrapy 提供了一个scrapy.cfg 的配置文件，可以定义scrapyd服务地址
- scrapy.cfg 参考配置
[deploy]
url = http://scrapyd.example.com/api/scrapyd
username = scrapy
password = secret
project = projectname
包含多个target 的
[deploy:targetname]
url = http://scrapyd.example.com/api/scrapyd
[deploy:another]
url = http://other.example.com/api/scrapyd
参考使用
备注：基于自己的调度，对于用户开发的spider 通过scrapyd-client 部署到scrapyd 中的项目进行调度，数据可以通过item exports 或者item pipeline 到三方存储中，之后就是数据处理，分析，以及数据服务的开发了
说明
scrapyd 属于一个简单的 scrapy 调度服务，部署简单，而且是官方支持的，当然也有缺点就是集群的支持，缺少分布式能力，对于简单场景基本够用
参考资料
https://scrapyd.readthedocs.io/en/latest/
https://github.com/scrapy/scrapyd
https://docs.scrapy.org/en/latest/topics/deploy.html
https://github.com/my8100/scrapydweb
https://github.com/Gerapy/Gerapy
https://github.com/scrapy/scrapyd-client
