scrapy 项目通过scrapyd部署
摘要：
年前的时候采用scrapy 爬取了某网站的数据，当时只是通过crawl 来运行了爬虫，现在还想通过持续的爬取数据所以需要把爬虫部署起来，查了下文档可以采用scrapyd来部署scrapy项目，scrapyd主要分两部分，一部分是服务器端(scrapyd)，一个是客户端(scrapyd-client) 阅读全文
posted @ 2018-04-11 13:18 梦雨情殇 阅读(1357) 评论(0) 推荐(0) 编辑
