用Flask+Redis维护代理池

为什么要用代理池？

• 许多网站有专门的反爬虫措施，可能遇到封IP等问题。
• 互联网上公开了大量免费的代理，利用好资源。
• 通过定时的检测维护同样可以得到多个可用的代理。

代理池要求

• 多站抓取，异步检测
• 定时筛选，持续更新
• 提供接口，易于读取

代理池架构