摘要: Cookie池设计思路: 看了IP池设计,Cookie设计也是差不多一样的原理 1.获取Cookie的来源 (可能需要IP池作为支撑) 2.Cookie程序内管理 3.应用到requests 程序实现: selenium获取Cookie来源: import time from concurrent. 阅读全文
posted @ 2022-03-04 15:22 锋芒毕露的蜘蛛 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 设计IP池: 应用场景: 1.防止网站IP检测,封掉IP,终止爬虫程序运行 2.无痕浏览器 绕过非强制验证码问题 3.防识别 设计思路: 1.IP来源 2.IP管理 2.0.IP存活检测 2.1.IP程序中管理 3.IP应用 第一: IP来源做法:(不管你的IP来源在哪(收费IP网站,免费IP网站, 阅读全文
posted @ 2022-03-04 15:11 锋芒毕露的蜘蛛 阅读(250) 评论(0) 推荐(0) 编辑