Fork me on GitHub
2016年4月27日
[python]新手写爬虫v2.5（使用代理的异步爬虫）
摘要： 开始 开篇： "爬代理ip v2.0(未完待续）" ，实现了获取代理ips，并把这些代理持久化（存在本地）。同时使用的是tornado的HTTPClient的库爬取内容。 中篇：开篇主要是获取代理ip；中篇打算使用代理ip，同时优化代码，并且异步爬取内容。所以接下来，就是写一个：异步，使用代理的爬虫 阅读全文
posted @ 2016-04-27 17:26 削微寒 阅读(3537) 评论(2) 推荐(6) 编辑