代理的基本原理【转】

代理:防止ip被封,通过代理设置代理服务器频繁的更换ip地址,来解决ip会被封的问题。

原理:。 如果设置了代理服务器, 实际上就是在本机和服务器之间搭建了一个 桥, 此时本机不是直接向 Web 服务器发起请求,而是向代理服务器发出请求,请求会发送给代理服务 器,然后由代理服务器再发送给 Web 服务器,接着由代理服务器再把 Web 服务器返回的响应转发给 木机。 这样我们同样可以正常访问网页,但这个过程中 Web 服务器识别出的真实 IP 就不再是我们本 机的 IP 了,就成功实现了 IP 伪装,这就是代理的基本原理。
1.突破门身 IP访问限制,访问一些平时不能访问的站点(翻----墙)
2.访问一些单位或团体内部资惊:比如使用教育网内地址段免费代理服务器,就可以用于对教 育网开放的各类 FTP下载上传,以及各类资料查询共享等服务。
3.提高访问速度:通常代理服务器都设置一个较大的硬盘缓冲区,当有外界的信息通过时,同 时也将·其保存到缓冲区中,当其他用户再访问相同的信息时,则直接由缓冲区中取出信息, 传给用户,以提高访问速度。
4.隐藏真实 IP: 上网者也可以通过这种方法隐藏自己的 ip, 免受攻击。 对于爬虫来说,我们用 代理就是为了隐藏自身 IP,防止 向身的 IP 被封锁。
对于爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能遇到同一个 IP 访问过于频繁的问题, 此时网站就会让我们输入验证码登录或者直接封锁 ,这样会给爬取带来极大的不便。
使用代理隐藏真实的 IP,让服务器误以为是代理服务器在请求向己。 这样在爬取过程中通过不断 更换代理,就不会被封锁,可以达到很好的爬取效果。
posted @ 2020-06-09 11:56  融爸  阅读(137)  评论(0编辑  收藏  举报