摘要: 创建项目scrapy startproject zhihuuser scrapy genspider zhihu zhihu.com items.py zhihu.py pipelines.py 阅读全文
posted @ 2018-06-23 16:38 王琳杰 阅读(271) 评论(0) 推荐(0) 编辑
摘要: Scrapy 和 scrapy-redis的区别 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 pip install scrapy-redis Scrapy-redis提供 阅读全文
posted @ 2018-06-23 10:00 王琳杰 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 爬取豆瓣电影top250movie.douban.com/top250的电影数据,并保存在MongoDB中。 创建项目scrapy startproject douban items.py 创建CrawSpider,使用模版craw scrapy genspider -t craw doubanmo 阅读全文
posted @ 2018-06-23 00:31 王琳杰 阅读(545) 评论(0) 推荐(0) 编辑
摘要: 启动MongoDB服务的命令如下: brew services start mongodbsudo mongod 停止和重启MongoDB服务的命令分别是: brew services stop mongodbbrew services restart mongodb 查看当前数据库 > db 查看 阅读全文
posted @ 2018-06-23 00:13 王琳杰 阅读(124) 评论(0) 推荐(0) 编辑