2017年6月9日
scrapy+mongodb
摘要： 我们都知道scrapy适合爬取大量的网站信息，爬取到的信息储存到数据库显然需要更高的效率，scrapy配合mongodb是非常合适的，这里记录一下如何在scrapy中配置mongodb。 文件结构 当我们创建一个scrapy工程的时候，scrapy会自动给我们创建目录结构，像下面这样： 提取数据 i 阅读全文
posted @ 2017-06-09 16:13 善行者无疆 阅读(1438) 评论(0) 推荐(0) 编辑