模拟一个头， 在请求网页（转）

最近在做一个项目，因为是分层设计，为了各层之间解耦，我们采用了HttpWebRequest来抓取同域下的文件数据（动态生成的）来生成新的对 象.我们生成数据页的handler都是以.do结尾的，以示区分.但是这也带来了问题，在使用HttpWebRequest抓数据时,通不过验证.但是 我们使用AJAX同样也是.do结尾的啊,却可以使用,奇怪!网上找Membership的验证原理,资料及其缺乏.多是设置cookie之类的,也试了 好多次,均不奏效!事实也证明,当我们禁用cookie时,membership认证也同样起作用,设置cooke这条路走不通.陷入僵局!

只好在分析,为什么ajax请求行?而HttpWebRequest请求就不行呢?有什么特殊情况.打开我们经典的调试分析工具fiddler2.0,看看ajax传了什么

 

看到有.User一节的时候,我们眼睛一亮.或许给请求的头加上一个.User一节就能认证了,说做就做

 

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(requestUrl);

request.Method = "POST";
request.ContentType = "application/x-www-form-urlencoded;charset=UTF-8;";
request.Headers.Add(string.Format("Cookie:.User={0}", FormsAuthentication.GetAuthCookie(HttpContext.Current.User.Identity.Name, false).Value));



using (Stream stream = request.GetRequestStream())
{
    using (StreamWriter sw = new StreamWriter(stream))
    {
        sw.Write(param);
    }
}

string json = string.Empty;

using (Stream stream = request.GetResponse().GetResponseStream())
{
    using (StreamReader sr = new StreamReader(stream, Encoding.UTF8))
    {
        json = sr.ReadToEnd();
    }
}

 

运行,调试,全部通过,大功告成!

同理,如果碰到membership认证的网站,想抓网页,可以先注册一个用户,然后用fiddler查看用户的.User这一节,加入你程序的头里,就能通过验证了

总结:为什么ajax能抓,而HttpWebRequest不能抓,原因可能是ajax是使用的js调用,而js是aspx页面的一部分,aspx页面的请求当然能使用membership.而HttpWebRequest直接请求的是.do页面,不受.net管理.