摘要： redis可视化工具 参考 https://blog.csdn.net/Future_LL/article/details/84591057 阅读全文

摘要： 作业需求: 爬取北京全站租房信息 爬取全站用基于crawlspider建立爬虫文件 对北京出租下的70页信息进行爬取： 分析页码网页 https://bj.58.com/chuzu/pn2 bj代表北京 包括四种类型的房源：个人房源；经纪人；安选房源；品牌公寓 个人房源： 经纪人： 安选房源： 品牌 阅读全文

摘要： 1.接触过几种爬虫模块 urllib,requests 2.robots协议是什么？ requests模块没有使用硬性的语法对该协议进行生效 scrapy硬性的语法对该协议进行了生效 3、如何处理验证码： 云打码平台 打码兔 4、掌握几种数据解析的方式 正则，xpath，bs4 5、如何爬取动态加载 阅读全文