2019年1月12日
打造一个健壮高效的网络爬虫
摘要： 反爬 / 封 IP 对于封 IP 的情况，可以分为几种情况来处理： 首先寻找手机站点、App 站点，如果存在此类站点，反爬会相对较弱。 使用代理，如抓取免费代理、购买付费代理、使用 Tor 代理、Socks 代理等。 在代理的基础上维护自己的代理池，防止代理浪费，保证实时可用。 搭建 ADSL 拨号代理，稳定高效。 阅读全文
posted @ 2019-01-12 22:40 Eeyhan 阅读(1737) 评论(1) 推荐(3) 编辑