2020年9月5日
程序员解决爬虫IP被封的神器
摘要： 代理池是爬虫、采集、爆破、刷单等必不可少的配备。读了一个github的py代理池的源码，简单易用免维护，也无需过多配置，该程序从网站爬取代理列表，存入SQLite数据库。定时执行爬取->存入->检查->爬取的循环以保证采集到代理IP的可用性。开两个线程，一个用做服务器对外提供代理IP，另一个用于维护 阅读全文
posted @ 2020-09-05 18:23 亚洲小番茄 阅读(224) 评论(0) 推荐(0) 编辑