摘要： 用法解析和示例 ### 3.数据解析(xpath、bs4、正则) **数据解析** - 解析:根据指定的规则对数据进行提取 - 作用:实现聚焦爬虫 - 聚焦爬虫的编码流程: - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 - 数据解析的方式: - 正则 - bs4 - 阅读全文

摘要： ### 2.requests模块 - 概念:一个基于网络请求的模块.作用就是用来模拟浏览器发起请求. - 编码流程: - 指定url - 进行请求的发送 - 获取响应数据(爬取到的数据) - 持久化存储 - 环境的安装: - pip install requests **requests:** - 阅读全文

摘要： 1.http和https http: 概念:clinet和Server进行数据交互的某种形式 常用的头信息: User-Agent:请求载体的身份标识 Connection:close content-type: https: 概念:安全的http协议 证书 对称秘钥加密 在本地用公钥进行加密，然后 阅读全文