写文章
2018年5月23日
scrapy实现自动抓取51job并分别保存到redis，mongo和mysql数据库中
摘要： 项目简介 利用scrapy抓取51job上的python招聘信息，关键词为“python”，范围：全国 利用redis的set数据类型保存抓取过的url，现实避免重复抓取； 利用脚本实现每隔一段时间，网站更新后自动抓取； 利用mongo和mysql，分别保存抓取结果。 主要内容 网站分析 进入51j 阅读全文
posted @ 2018-05-23 17:44 温良Miner 阅读(916) 评论(0) 推荐(0) 编辑
分享到：