摘要：
Scrapyrt：为Scrapy提供了一个调度的HTTP接口，有了它就不需要再执行Scrapy命令，而是通过请求一个HTTP接口即可调度Scrapy任务 GitHub：https://github.com/scrapinghub/scrapyrt 官方文档：http://scrapyrt.readt 阅读全文
摘要：
新建项目创建爬虫 1 scrapy startproject Scrapy_crawl # 新建Scrapy项目 2 3 scrapy genspider -l # 查看全部模板 4 # Available templates: 5 # basic 6 # crawl 7 # csvfeed 8 # 阅读全文
摘要：
CrawlSpider：Scrapy提供的一个通用Spider 官方文档链接：http://scrapy.readthedocs.io/en/latest/topics/spiders.html#crawlspider 在Spider里，使用数据结构Rule表示用来实现页面的提取的爬取规则；Rule 阅读全文