随笔分类 - Python
摘要:1、Cookie模拟登录: 1.1 Http/Https请求协议: 无状态,没有请求到页面数据的原因: 发起的第二次基于个人主页页面请求的时候,服务器端并不知道此请求是基于登录状态下的请求。 1.2 Cookie: 用来让服务器端记录客户端的相关状态 处理方式: (1). 手动处理:
阅读全文
摘要:数据解析: 1、数据解析概述 1.1 数据解析分类: * 正则 https://www.jianshu.com/p/5c80a7a874ae * bs4 * xpath(通用性最强) 1.2 数据解析原理概述: 解析的局部的文本内容会在标签之间或者标签对应的属性中进行存储; 进行指定的标签定位; 标
阅读全文
摘要:一、爬虫入门: 1.1 http协议: 概念: 就是服务器和客户端进行数据交互的一种形式。 常用的请求头信息: User-Agent:当前请求载体的身份标识 (浏览器等信息) Connection:请求完毕后,是断开连接还是保持连接 常用的响应头信息: Content-Type:服务器响应回客户端的
阅读全文