scrapy爬取58同城二手房问题与对策
摘要：
测试环境： win10，单机爬取，scrapy1.5.0，python3.6.4，mongodb，Robo 3T 其他准备： 代理池：测试环境就没有用搭建的flask抓代理，因为我找到的几个免费网站有效ip不够多，因此从xxx网站批量获取了800多个免费https代理，然后开线程池测试访问58同城网 阅读全文
posted @ 2019-04-17 19:29 Tarantino 阅读(1663) 评论(0) 推荐(0) 编辑
