Fork me on GitHub

01 2018 档案

摘要:使用 CI 一段时间后,artifacts 占用的磁盘会很大,可以配置保留多少天的 artifacts,具体如下: Administration Click the Edit link for any of your branches or <root project>* Clean-up rule 阅读全文
posted @ 2018-01-30 17:39 花儿笑弯了腰 阅读(1072) 评论(0) 推荐(0) 编辑
摘要:用 Scrapy 做好的爬虫使用 Scrapyd 来管理发布启动等工作,每次手动执行也很繁琐;考虑可以使用 Hangfire 集成在 web 工程里。 Scrapyd 中启动爬虫的请求如下: curl http://172.0.0.1:8081/schedule.json -d project=spider -d spider=jrj_spider -u name:pwd {"node_name... 阅读全文
posted @ 2018-01-22 14:53 花儿笑弯了腰 阅读(921) 评论(0) 推荐(1) 编辑