摘要: 一、cookie&session cookie:服务器端使用cookie来记录客户端的状态信息 实现流程: 注意:session对象也可以发送请求,并且会将cookie对象进行自动存储 cookie&session演示 二、代理操作 第三方代理本体执行相关的事物。生活:代购、微商、中介 为什么要使用 阅读全文
posted @ 2019-04-03 11:04 梁少华 阅读(255) 评论(0) 推荐(0) 编辑
摘要: 一、request模块介绍 1. 什么是request模块 2. 为什么使用request模块 3. request如何被使用 3.通过5个基于request模块的爬虫项目对该模块进行系统学习和巩固 二、项目实战 3. 基于request模块发起一个get请求 需求:爬取搜狗首页的页面数据 resp 阅读全文
posted @ 2019-04-03 10:33 梁少华 阅读(379) 评论(0) 推荐(0) 编辑
摘要: 1. urllib模块介绍 python自带的一个基于爬虫的模块。 作用:可以使用代码模拟浏览器发起请求。 经常使用到的子模块:request,parse。 使用流程: 指定URL。 针对指定的URL发起了一个请求。 获取页面数据。 持久化储存。 2. 爬取搜狗首页的页面数据 # 需求:爬取搜狗首页 阅读全文
posted @ 2019-04-03 10:23 梁少华 阅读(218) 评论(0) 推荐(0) 编辑