摘要: 爬虫介绍及requests模块 1. 爬虫介绍 1. 本质 如果我们把互联网比作一张大的蜘蛛网,那一台计算机上的数据便是蜘蛛网上的一个猎物,而爬虫程序就是一只小蜘蛛,沿着蜘蛛网抓取自己想要的猎物/数据 本质:模拟发送http请求(requests) 》解析返回数据(re,bs4,lxml,json) 阅读全文
posted @ 2020-04-07 22:57 Mr沈 阅读(299) 评论(0) 推荐(0) 编辑
摘要: flask请求扩展、中间件及CBV与蓝图 1、请求扩展(类似于Django中间件) 1、before_first_request 在项目启动后,接收到的第一个请求,就会执行,before_first_request装饰的函数的执行顺序是谁先注册谁先执行 2、before_request 请求没有经过 阅读全文
posted @ 2020-04-07 18:32 Mr沈 阅读(332) 评论(0) 推荐(0) 编辑
摘要: flask基础 1、初识flask 1、什么是flask Flask是一个Python编写的Web 微框架,django个大而全的web框架,它内置许多模块,flask是一个小而精的轻量级框架,Django功能大而全,Flask只包含基本的配置, Django的一站式解决的思路,能让开发者不用在开发 阅读全文
posted @ 2020-04-07 18:30 Mr沈 阅读(149) 评论(0) 推荐(0) 编辑
摘要: 爬虫入门到入狱 1. 爬虫介绍及requests模块 2. bs4解析html与xml、代理池、验证码破解 3. css选择器与xpath选择器与selenium测试工具 4. scrapy架构、目录结构与配置文件、持久化、动作链 5. scrapy请求传参、提高爬取效率、中间件、user-agen 阅读全文
posted @ 2020-04-07 17:24 Mr沈 阅读(568) 评论(0) 推荐(0) 编辑