前段时间抓一个网站的数据，呵呵，这个网站就不说了，反正也是蛮出名的一家公司，然后数据还是挺干净的，呵呵，我让抓得很爽啊。最初抓数据的时候总是出问题，大概十来次之后就不行了，服务器拒绝，需要重新换一个IP才可以，这个IP就被封了。然后我晚上抓数据，做了一个线程睡眠，每一次数据停几十秒，过段时间停十分钟，但还是不行，搞得我白开两天的机器。
后来又尝试换成随机代理的方式去拽数据，但也不行，因为代理是透明代理，服务器可以取得真实的IP地址，只有使用笨办法，过段时间自己手动去重连路由，想想大不了我一天弄一点一天弄一天，总会完吧，呵呵。
今天研究了一个路由器，使用Firefox的Developer工具对路由的网页源码进行了一个分析（我使用的是TP-Link的路由器），发现路由用Javascript访问一个地址，我试试直接用Javascript的网址访问路由，发现路由引导进入首页，心想，完了，没戏了。
细心一看，路由正在得新获取IP，狂喜中，继续测试一下，认真对比，发下果然IP地址被换了，嘿嘿。有办法，下一步就是想怎么突破路由的验证的限制了，因为路由不是Post用户名和密码的，从验证上来看，是类似于集成Windows的验证机制。
public static void reconnect()
{
string url = "http://192.168.1.1/userRpm/StatusRpm.htm?Connect=连 接&wan=1";
HttpWebRequest req = WebRequest.Create(url) as HttpWebRequest;
req.PreAuthenticate = true;
NetworkCredential netCreden=new NetworkCredential("admin", "poiuytrewq");
req.Credentials = netCreden;
req.GetResponse();
}
代码很简单，我觉得没必要解释了吧，主要是用httpwebrequest进行请求路由的一个网页，加了一个认证，就是NetworkCredential了。使用这段代码的后遗症就是我的飞信过段时间总要断一下线，因为路由正在重连，不过我可以晚上通宵抓数据了，嘿嘿，爽
注意：本文为我的独立博客镜像博客，自发表不再更新，原文可能随时被更新，敬请访问原文。同时，请大家不要在此评论，如果有什么看法，请点击这里：http://iove.net/1705/
本文来自http://iove.net，欢迎转载，转载敬请保留相关链接，否则视为侵权，原文链接：http://iove.net/1705/
