爬虫——http协议和https协议
HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。
以上是官方对于http协议的一个解释，可能相对晦涩难懂一些，实际上http协议就是：服务器server和客户端client之间进行数据交换的一种形式
1.http协议的工作原理
HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后，向客户端发送响应信息。
2.http的四点注意事项
-
HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。
-
HTTP是无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。*
-
HTTP是媒体独立的：这意味着，只要客户端和服务器知道如何处理的数据内容，任何类型的数据都可以通过HTTP发送。客户端以及服务器指定使用适合的MIME-type内容类型。
-
HTTP是无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快
3.http中的url
-
协议部分：该URL的协议部分为“http：”，这代表网页使用的是HTTP协议。在Internet中可以使用多种协议，如HTTP，FTP等等本例中使用的是HTTP协议。在"HTTP"后面的“//”为分隔符
-
域名部分：该URL的域名部分为“www.aspxfans.com”。一个URL中，也可以使用IP地址作为域名使用
-
端口部分：跟在域名后面的是端口，域名和端口之间使用“:”作为分隔符。端口不是一个URL必须的部分，如果省略端口部分，将采用默认端口
-
虚拟目录部分：从域名后的第一个“/”开始到最后一个“/”为止，是虚拟目录部分。虚拟目录也不是一个URL必须的部分。本例中的虚拟目录是“/news/”
-
文件名部分：从域名后的最后一个“/”开始到“？”为止，是文件名部分，如果没有“?”,则是从域名后的最后一个“/”开始到“#”为止，是文件部分，如果没有“？”和“#”，那么从域名后的最后一个“/”开始到结束，都是文件名部分。本例中的文件名是“index.asp”。文件名部分也不是一个URL必须的部分，如果省略该部分，则使用默认的文件名
-
锚部分：从“#”开始到最后，都是锚部分。本例中的锚部分是“name”。锚部分也不是一个URL必须的部分
-
参数部分：从“？”开始到“#”为止之间的部分为参数部分，又称搜索部分、查询部分。本例中的参数部分为“boardID=5&ID=24618&page=1”。参数可以允许有多个参数，参数与参数之间用“&”作为分隔符。
4.http中的Request
常见的请求头：
-
accept：浏览器通过这个头告诉服务器，它所支持的数据类型
-
Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集
-
Accept-Encoding：浏览器通过这个头告诉服务器，支持的压缩格式
-
Accept-Language：浏览器通过这个头告诉服务器，它的语言环境
-
Host：浏览器通过这个头告诉服务器，想访问哪台主机
-
If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间
-
Referer：浏览器通过这个头告诉服务器，客户机是哪个页面来的 防盗链
-
Connection：浏览器通过这个头告诉服务器，请求完后是断开链接还是何持链接
-
X-Requested-With: XMLHttpRequest 代表通过ajax方式进行访问
-
User-Agent：请求载体的身份标识
5.http中的Response
常见的响应头信息：
-
Location: 服务器通过这个头，来告诉浏览器跳到哪里
-
Server：服务器通过这个头，告诉浏览器服务器的型号
-
Content-Encoding：服务器通过这个头，告诉浏览器，数据的压缩格
-
Content-Length: 服务器通过这个头，告诉浏览器回送数据的长度
-
Content-Language: 服务器通过这个头，告诉浏览器语言环境
-
Content-Type：服务器通过这个头，告诉浏览器回送数据的类型
-
Refresh：服务器通过这个头，告诉浏览器定时刷新
-
Content-Disposition: 服务器通过这个头，告诉浏览器以下载方式打数据
-
Transfer-Encoding：服务器通过这个头，告诉浏览器数据是以分块方式回送的
-
Expires: -1 控制浏览器不要缓存
-
Cache-Control: no-cache
-
Pragma: no-cache
https协议
HTTPS (Secure Hypertext Transfer Protocol)安全超文本传输协议，HTTPS是在HTTP上建立SSL加密层，并对传输数据进行加密，是HTTP协议的安全版。
说白了就是加密版的HTTP协议。
1.证书
证书是被应用在https的加密操作中的，改证书是由证书认证机构颁布的，里面包含了公钥
2.https采用的加密技术：
-
对称密钥加密：
-
流程：客户端向服务器发送一条信息，首先客户端会采用已知的算法对信息进行加密，比如MD5或者Base64加密，接收端对加密的信息进行解密的时候需要用到密钥，中间会传递密钥，（加密和解密的密钥是同一个），密钥在传输中间是被加密的。
-
缺点：这种方式看起来安全，但是仍有潜在的危险，一旦被窃听，或者信息被挟持，就有可能破解密钥，而破解其中的信息。因此“共享密钥加密”这种方式存在安全隐患
-
-
非对称密钥加密
-
流程：服务器告诉客户端按照自己给定的公开密钥进行信息的加密处理，这时服务器接收到加密消息后，再按照自己的密钥进行解密。
-
缺点：一是有可能是有人模仿服务器向客户端进行发送公共密钥，二是非对称加密的方式效率比较低
-
-
证书密钥加密方式
-
过程：服务器携带公开密钥向数字证书认证机构提出公开密钥的申请，数字证书认证机构在认清申请者的身份之后，会对服务器申请的公开密钥做数字签名，然后把这个公开的密钥放入到证书之中，绑定在一起。
-
服务器将这个证书发送给客户端，因为客户端也认可证书机构，客户端通过证书中的数字签名来进行验证公钥的真伪，来确保服务器传过来的公钥是真实的
-
以上是对http协议以及https协议的相关知识。
ヾ(≧O≦)〃嗷~