会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
温良
技术自留地
格物致知,天道酬勤
写文章
博客园
我的首页
写博客
私信我
RSS订阅
闪存
我关注
后台管理
GUI配置
博文列表
网摘夹
文件
相册
温良Miner
温一壶月光下酒
博客园
首页
新随笔
联系
订阅
管理
2018年6月8日
scrapy自动抓取蛋壳公寓最新房源信息并存入sql数据库
摘要: 利用scrapy抓取蛋壳公寓上的房源信息,以北京市为例,目标url:https://www.dankegongyu.com/room/bj 思路分析 每次更新最新消息,都是在第一页上显示,因此考虑隔一段时间自动抓取第一页上的房源信息,实现抓取最新消息。 利用redis的set数据结构的特征,将每次抓
阅读全文
posted @ 2018-06-08 20:03 温良Miner
阅读(1318)
评论(0)
推荐(0)
编辑
分享到: