Python网络爬虫

爬虫简介

爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。

浏览器其实就是一款天然的爬虫工具

爬虫的分类

通用爬虫:爬取一整张页面源码数据. 抓取系统(爬虫)

聚焦爬虫:爬取的是一张页面中局部的数据(数据解析)

增量式爬虫:用于监测网站数据更新的情况,从而爬取网站中最新更新出来的数据.

反爬虫

门户网站通过相应的策略和技术手段，防止爬虫程序进行网站数据的爬取。

 

反反爬虫

爬虫程序通过相应的策略和技术手段，破解门户网站的反爬虫手段，从而爬取到相应的数据。

 

robots.txt协议

如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬取到的话，那么则可以通过编写一个robots.txt的协议文件来约束爬虫程序的数据爬取。robots协议的编写格式可以观察淘宝网的robots（访问www.taobao.com/robots.txt即可）。但是需要注意的是，该协议只是相当于口头的协议，并没有使用相关技术进行强制管制，所以该协议是防君子不防小人。但是我们在学习爬虫阶段编写的爬虫程序可以先忽略robots协议。

HTTP协议

http协议:就是客户端和服务端进行数据交互的形式

比较官方一点：HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。

HTTP四点注意事项

HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

 HTTP是无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

HTTP是媒体独立的：这意味着，只要客户端和服务器知道如何处理的数据内容，任何类型的数据都可以通过HTTP发送。客户端以及服务器指定使用适合的MIME-type内容类型。

HTTP是无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

HTTP的URL

HTTP使用统一资源标识符（Uniform Resource Identifiers, URI）来传输数据和建立连接。URL是一种特殊类型的URI，包含了用于查找某个资源的足够的信息

URL,全称是UniformResourceLocator, 中文叫统一资源定位符,是互联网上用来标识某一处资源的地址。

HTTP之Request

常见的请求头：

User-Agent:请求载体的身份标识

Connection：浏览器通过这个头告诉服务器，请求完后是断开链接还是何持链接

content-type

===============================================================

accept:浏览器通过这个头告诉服务器，它所支持的数据类型

Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集

Accept-Encoding：浏览器通过这个头告诉服务器，支持的压缩格式

Accept-Language：浏览器通过这个头告诉服务器，它的语言环境

Host：浏览器通过这个头告诉服务器，想访问哪台主机

If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间

Referer：浏览器通过这个头告诉服务器，客户机是哪个页面来的 防盗链

X-Requested-With: XMLHttpRequest 代表通过ajax方式进行访问

 HTTP之Response

状态码
　　200 OK - [GET]：服务器成功返回用户请求的数据，该操作是幂等的（Idempotent）。
　　201 CREATED - [POST/PUT/PATCH]：用户新建或修改数据成功。
　　202 Accepted - [*]：表示一个请求已经进入后台排队（异步任务）
　　204 NO CONTENT - [DELETE]：用户删除数据成功。
　　301  状态码（永久重定向）
　　302  状态码（暂时重定向，307也是这个含义）
　　400 INVALID REQUEST - [POST/PUT/PATCH]：用户发出的请求有错误，服务器没有进行新建或修改数据的操作，该操作是幂等的。
　　401 Unauthorized - [*]：表示用户没有权限（令牌、用户名、密码错误）。
　　403 Forbidden - [*] 表示用户得到授权（与401错误相对），但是访问是被禁止的。
　　404 NOT FOUND - [*]：用户发出的请求针对的是不存在的记录，服务器没有进行操作，该操作是幂等的。
　　406 Not Acceptable - [GET]：用户请求的格式不可得（比如用户请求JSON格式，但是只有XML格式）。
　　410 Gone -[GET]：用户请求的资源被永久删除，且不会再得到的。
　　422 Unprocesable entity - [POST/PUT/PATCH] 当创建一个对象时，发生一个验证错误。
　　500 INTERNAL SERVER ERROR - [*]：服务器发生错误，用户将无法判断发出的请求是否成功。

响应头信息

Location: 服务器通过这个头，来告诉浏览器跳到哪里
Server：服务器通过这个头，告诉浏览器服务器的型号
Content-Encoding：服务器通过这个头，告诉浏览器，数据的压缩格式
Content-Length: 服务器通过这个头，告诉浏览器回送数据的长度
Content-Language: 服务器通过这个头，告诉浏览器语言环境
Content-Type：服务器通过这个头，告诉浏览器回送数据的类型
Refresh：服务器通过这个头，告诉浏览器定时刷新
Content-Disposition: 服务器通过这个头，告诉浏览器以下载方式打数据
Transfer-Encoding：服务器通过这个头，告诉浏览器数据是以分块方式回送的
Expires: -1 控制浏览器不要缓存
Cache-Control: no-cache
Pragma: no-cache

HTTPS协议

https协议：加密安全版的HTTP协议。

官方一点就是：HTTPS (Secure Hypertext Transfer Protocol)安全超文本传输协议，HTTPS是在HTTP上建立SSL加密层，并对传输数据进行加密，是HTTP协议的安全版。

HTTPS采用的加密技术

- 对称密钥加密:
- 非对称密钥加密:
- 证书密钥加密: