Fork me on GitHub
2020年2月9日
寒假自学进度10
摘要： 不管是正常的爬虫还是恶意爬虫，不仅会导致网站信息泄露，而且还会导致服务器压力过大。想象一下，一台计算机模拟人工请求访问服务器，并且与以计算机的速度与服务器进行交互，势必会导致服务器压力过大或者瘫痪。所以，很多正规的大型网站不想让网络爬虫爬取数据，设置了反爬虫机制。最常见的就是user-agent，简 阅读全文
posted @ 2020-02-09 21:39 今天123 阅读(103) 评论(0) 推荐(0) 编辑
1