2017年3月16日
Python实现的异步代理爬虫及代理池1--基本功能
摘要： 使用python asyncio实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入redis中，定期扩展代理的数量并检验池中代理的有效性，移除失效的代理。同时用aiohttp实现了一个server，其他的程序可以通过访问相应的url来从代理池中获取代理。 源码 "Github 阅读全文
posted @ 2017-03-16 21:15 xmwd 阅读(2538) 评论(2) 推荐(1) 编辑