[HtmlUnit]Fetch Dynamic Html/Content Created By Javascript/Ajax

import com.gargoylesoftware.htmlunit.*;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

import java.net.*;
public class helloworld {

	public static void main(String[] args) throws Exception {  
		final WebClient webclient=new WebClient(BrowserVersion.FIREFOX_3_6);
		
		/*
		 * htmluni 2.11 version
		 * webclient.setJavaScriptEnabled(true);
		webclient.setCssEnabled(false);
		webclient.setAjaxController(new NicelyResynchronizingAjaxController());
		webclient.setTimeout(5000);
		webclient.setThrowExceptionOnScriptError(false);
		*/
		webclient.getOptions().setJavaScriptEnabled(true);
		webclient.getOptions().setCssEnabled(false);
		webclient.getOptions().setThrowExceptionOnScriptError(false);
		
		URL url=new URL("https://www.coursera.org/course/gametheory");
		HtmlPage page=webclient.getPage(url);
		Thread.sleep(1000*30);
		String ori = page.asXml();
		System.out.print(ori);
		
		
		//System.out.println(page.getHtmlElementById("cart-empty").asXml());
        
    }  
}
posted @   kkun  阅读(1323)  评论(0编辑  收藏  举报
编辑推荐:
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 周边上新:园子的第一款马克杯温暖上架
历史上的今天:
2010-10-11 非常搞笑的注释
点击右上角即可分享
微信分享提示