学习进度条76

当一个人打开浏览器输入网址敲下回车，会发起一个HTTP请求，即Request，来访问网站服务端，服务端接收请求并返回响应内容，即Response。在发起请求时，Request会有一个请求头，即Headers，来描述请求信息，例如Content-type、User-Agent、cookie等。相对的也会有一个响应头，这里不多关注。

 

User-Agent

在爬虫程序的开发中，请求头中必须添加的就是User-Agent。UA记录了浏览器、操作系统、版本等信息，很多网站会通过检测UA来判断是否是爬虫程序发起的请求。

代理IP

很多网站识别爬虫程序的基本手段就是通过请求频率来判断，即记录一个IP在一段时间内请求了多少次。所以如果我们有足够的代理IP，就可以提高请求频率。

 

通常获取代理IP的方法有付费购买和从免费代理IP网站获取，之前的西刺代理就是专门提供免费代理IP的网站，但免费代理IP的存活率通常不高。很多人就开始专门设计程序来构建代理IP池，获取了免费代理IP之后，通过程序反复验证代理IP的存活性。这里主要先说明爬虫程序中入门如何添加代理IP。