2022年2月13日
爬虫笔记：提高数据采集效率！代理池和线程池的使用
摘要： 前言 爬虫和反爬虫是一对矛和盾，反爬虫很常见的一个方法就是封IP，一个IP短时间内频繁访问，可以做限流或者是加入黑名单，我之前的后台开发相关博客也有涉及这一块。 不过今天说的是爬虫，所以应对的方法就是用代理池，每次请求都用不同的IP就行，再加上UA模拟，完全是正常用户的行为，可以避开限流和黑名单反爬 阅读全文
posted @ 2022-02-13 22:33 程序设计实验室 阅读(658) 评论(0) 推荐(3) 编辑
more_horiz
keyboard_arrow_up dark_mode palette
选择主题