乐之之

知而行乐,乐而行之,天道酬勤,学无止境。

2023年3月16日

常见反爬措施——ip反爬

摘要: 在使用爬虫过程中经常会遇到这样的情况,爬虫最初运行还可以,正常爬取数据,但一杯茶的功夫就会出现报错,比如返回403Forbidden,这时打开网页可能会发现数据为空,原来网页端的信息并未显示,或提示您的IP访问频率太高,又或者弹出一个验证码需要我们去识别,再者过了一会又可以正常访问。 出现上述现象的 阅读全文

posted @ 2023-03-16 22:33 乐之之 阅读(230) 评论(0) 推荐(0) 编辑
HTTP协议和web静态服务器

摘要: 一、HTTP协议 1、HTTP协议的定义 网络协议 网络协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则。 HTTP协议 HTTP协议(超文本传输协议)是一种网络通信协议,它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器。默认端口:80 HTTPS协议 阅读全文

posted @ 2023-03-16 15:32 乐之之 阅读(28) 评论(0) 推荐(0) 编辑