摘要: scrapy-redis 分布式爬虫爬取房天下网站所有国内城市的新房和二手房信息 爬取思路 1. 进入 https://www.fang.com/SoufunFamily.htm 页面,解析所有的省份和城市,获取到城市首页链接 2. 通过分析,每个城市的新房都是在首页链接上添加newhouse和ho 阅读全文
posted @ 2020-05-31 09:32 她的开呀 阅读(532) 评论(0) 推荐(0) 编辑