Java爬虫-WebMagic-WebClient-网页js渲染内容

大多数都是python，但是Java爬虫的优势就是可以使用多线程；

---

Java爬虫主要有WebMagic和WebClient，WebMagic框架比较好操作一些

WebMagic

关于WebMagic很简单看文档即可：http://webmagic.io/docs/zh/
主要是四大部分；基于httpClient下载页面；

但是在爬取js渲染的页面内容时，会无法解析该部分内容；也可能是我还没有了解到解决办法；目前使用WebClient解决的

WebClient

WebClient内容很多，这里只放爬虫的代码：

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
 <dependency>
     <groupId>org.jsoup</groupId>
     <artifactId>jsoup</artifactId>
     <version>1.13.1</version>
 </dependency>
 <!-- https://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit -->
 <dependency>
     <groupId>net.sourceforge.htmlunit</groupId>
     <artifactId>htmlunit</artifactId>
     <version>2.43.0</version>
 </dependency>

@Slf4j
@Component
public class SpiderUtils {
 
    /** 爬取后的页面初始页面内容 */
    public static String pageCon;
    /** 需要爬取页面：*** */
    public static String url = "http://******爬取的页面*****";
 
    // 每小时爬取一次
    @Scheduled(initialDelay = 1000, fixedDelay = 60 * 60 * 1000)
    public static void spiderRun() {
        log.info("======>爬取URL{}",url);
        final WebClient webClient = new WebClient(BrowserVersion.CHROME);   // 新建一个模拟谷歌Chrome浏览器的浏览器客户端对象
 
        webClient.getOptions().setThrowExceptionOnScriptError(false);   // 当JS执行出错的时候是否抛出异常, 这里选择不需要
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); // 当HTTP的状态非200时是否抛出异常, 这里选择不需要
        webClient.getOptions().setActiveXNative(false); // 不启用ActiveX
        webClient.getOptions().setCssEnabled(false);    // 是否启用CSS, 因为不需要展现页面, 所以不需要启用
        webClient.getOptions().setJavaScriptEnabled(true);  // 很重要，启用JS
        webClient.getOptions().setDownloadImages(false);    // 不下载图片
        webClient.setAjaxController(new NicelyResynchronizingAjaxController()); // 很重要，设置支持AJAX
 
        webClient.waitForBackgroundJavaScript(5 * 1000);   // 异步JS执行需要耗时,所以这里线程要阻塞30秒,等待异步JS执行结束
 
        HtmlPage page = null;
        try {
            page = webClient.getPage(url);  // 尝试加载给出的网页
        } catch (Exception e) {
            log.info("======>【严重】爬取失败：{}",url);
            e.printStackTrace();
        } finally {
            webClient.close();
        }
 
        String pageXml = page.asXml();  // 直接将加载完成的页面转换成xml格式的字符串
 
        pageCon = pageXml;
    }
 
}

原文地址：https://blog.csdn.net/qq_41813208/article/details/107970792

关于爬虫的具体细节设置比较重要：
HTTP基本内容需要了解：https://developer.mozilla.org/zh-CN/docs/Web/HTTP