前言:
最近在做中国移动爬虫的过程中,首先遇到的就是 在某个请求中,有一个名为“WT_PFC"的cookie键值是由前端JavaScript生成的,没有进入到HttpWebResponse中。事实上,C#不会去执行客户端脚本 ,用到的HttpWebRequest不是一个真正意义上的web浏览器,它只会下载它所请求的地址的html信息,它永远不会去执行JavaScript或者ajax,同时WebClient这个类间接地也是调用了HttpWebRequest来请求的,所以结论是一致的。
但是由于其他的请求的Request需要Sent该Cookie,所以查了很多资料,基本上只能 重新构建 js 算法 或者使用 WebBrowser自动去执行页面js
IHTMLWindow2 win = (IHTMLWindow2)webBrowser1.Document.Window.DomWindow; string s = @"function confirm() {"; s += @"return true;"; s += @"}"; s += @"function alert() {}"; win.execScript(s, "javascript");
, 但这些都不是最好最快的方法。我采用的是以下的
C# 代码动态编译JavaScript代码的方式得出 JavaScript函数被调用之后的 返回值。
1.Cookie(WT_FPC):
2. 通过HttpWatch查到的生成该cookie的js代码,我提炼出了生成该Cookie的方法,并按格式写成如下形式:
public static function GetWT_FPC(){ var $t = "2"; var $u = new Date(); var $v = new Date($u.getTime() + 315360000000); var $w = new Date($u.getTime()); if ($t.length < 10) { var $x = $u.getTime().toString(); for (var i = 2; i <= (32 - $x.length); i++) $t += Math.floor(Math.random() * 16.0).toString(16); $t += $x; }; $t = encodeURIComponent($t); return "WT_FPC=id=" + $t + ":lv=" + $u.getTime().toString() + ":ss=" + $w.getTime().toString() ; };
请注意:请按以上的格式书写 脚本函数,即加上"public static ". 方法体不用动。
3.JsHelper(动态编译Js代码):
我把上面js代码放到本地"WT_FPC.js"文件中
public static class JsHelper { /// <summary> /// 执行JS方法 /// </summary> /// <param name="methodName">方法名</param> /// <param name="para">参数</param> /// <returns></returns> public static string GetJsMethd(string methodName, object[] para) { string path = AppDomain.CurrentDomain.BaseDirectory + "WT_FPC.js"; string str2 = File.ReadAllText(path); StringBuilder sb = new StringBuilder(); sb.Append("package aa{"); sb.Append(" public class JScript {"); sb.Append(str2); sb.Append("}}"); CompilerParameters parameters = new CompilerParameters(); parameters.GenerateInMemory = true; CodeDomProvider _provider = new Microsoft.JScript.JScriptCodeProvider(); CompilerResults results = _provider.CompileAssemblyFromSource(parameters, sb.ToString()); Assembly assembly = results.CompiledAssembly; Type _evaluateType = assembly.GetType("aa.JScript"); object obj = _evaluateType.InvokeMember("GetWT_FPC", BindingFlags.InvokeMethod, null, null, para); return obj.ToString(); } }
注意:以上的helper代码如果报错的话,99%都是由于 Js代码的问题,即js代码不规范或者 变量缺少定义之类。
4. C#代码调用helper获得执行结果
//设置Cookie"WT_FPC" string wt_fpc = JsHelper.GetJsMethd("GetWT_FPC", null); CookieCollection hcc = new CookieCollection(); Cookie wtcookie = new Cookie() { Expires = DateTime.Now.AddYears(10), Path = "/", Domain = ".10086.cn", Name = "WT_FPC", Value = wt_fpc.Substring(wt_fpc.IndexOf('=') + 1, wt_fpc.Length - 7)// }; hcc.Add(wtcookie); HttpHelperNew.cookie.Add(wtcookie);
5. 小经验: 有时候 JavaScript前端生成的cookie,有时候 服务器端并不 校验,也就是,如果把这个cookie值不通过js代码动态得到,直接 写死的话 也应该可以。
6. 其他:
一:如果需要用C#执行前端js 函数计算的结果,比如 前端js的加密结果,在能找到js代码前提下,可以把js写在本地的html 页面里面,然后C#代码去访问 即可。so easy!
二: Java 中使用WebClient获取js执行完返回的值。
try{ WebClient webClient = new WebClient(BrowserVersion.FIREFOX_24); //设置webClient的相关参数 webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); //webClient.getOptions().setTimeout(50000); webClient.getOptions().setThrowExceptionOnScriptError(false); //模拟浏览器打开一个目标网址 HtmlPage rootPage= webClient.getPage(url); System.out.println("为了获取js执行的数据 线程开始沉睡等待"); Thread.sleep(3000);//主要是这个线程的等待 因为js加载也是需要时间的 System.out.println("线程结束沉睡"); String html = rootPage.asText(); System.out.println(html); }catch(Exception e){ }