python爬虫实战系列：（一）爬虫基础

python爬虫实战系列

---

本系列主要学习python爬虫的实战项目，需要源码的小伙伴欢迎关注留言私信

文章目录

• python爬虫实战系列
• 1.什么是爬虫？
• 2.爬虫的具体分类
• 3.反爬机制和反反爬策略
• 4.http协议

1.什么是爬虫？

官方的定义是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。
用大白话来讲其实就是一个代替我们人工搜索数据的行为。

2.爬虫的具体分类

• 通用爬虫：
  抓取系统重要组成部分。抓取的是一整张页面数据。
• 聚焦爬虫：
  是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。
• 增量式爬虫：
  检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

3.反爬机制和反反爬策略

• 反爬机制
  门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

• 反反爬策略
  爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站中相关的数据。

4.http协议

http协议是服务器和客户端进行数据交互的一种形式

常用请求头信息：

• user-agent：请求载体的身体标识

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36

• connection:请求完毕后断开连接还是保持连接

常用响应头信息：

• content-type：服务器返回客户端的数据类型，例如有text，json等数据

https协议：

• 安全的超文本传输协议