使用webmagic编写Java爬虫获取博客园文章内容
无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。
1. 先导知识
- Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。
- Maven：Maven被idea集成，用起来非常傻瓜，教程一搜一大堆。
- 正则表达式的基本使用：我是看的这本书《正则表达式必知必会》，看完前几章就够了，目测耗时不超过1小时。
- XPath简单语法：只谈使用的话，用于本爬虫看了这页教程就够了XPath语法。
2. 官方教程
官方教程位置在WebMagic in Action，官方教程非常亲民易懂，如果有能力建议直接去看github上的仓库webmagic。
3. 简单爬虫编写
3.1. Maven配置
首先是添加Maven依赖，其依赖的包会自动加载。
<dependencies>
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-core</artifactId>
<version>0.6.1</version>
</dependency>
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-extension</artifactId>
<version>0.6.1</version>
</dependency>
</dependencies>
之后，就可以愉快的开始写爬虫啦~
3.2. 第一个爬虫：博客园
首先一定要阅读官方文档，理解其中的普通模式后，再理解注解模式。
由于官方文档中爬github的爬虫目前已经失效了，所以我这里用爬cnblogs为例，贡献一下我自己的博客，讲一下这个爬虫。
直接给代码：
package com.spider.main;
import org.apache.http.HttpHost;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.model.ConsolePageModelPipeline;
import us.codecraft.webmagic.model.OOSpider;
import us.codecraft.webmagic.model.annotation.ExtractBy;
import us.codecraft.webmagic.model.annotation.HelpUrl;
import us.codecraft.webmagic.model.annotation.TargetUrl;
/**
* Created by 63289 on 2017/5/9.
*/
@HelpUrl("http://www.cnblogs.com/cielosun/default.html\\?page=\\d+")
@TargetUrl("http://www.cnblogs.com/cielosun/p/\\d+.html")
public class CnBlogPo {
@ExtractBy("//a[@id='cb_post_title_url']/text()")
private String title;
@ExtractBy("//div[@id='cnblogs_post_body']/tidyText()")
private String post;
@ExtractBy("//div[@class='postDesc']//span[@id='post-date']/text()")
private String date;
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title;
}
public String getPost() {
return post;
}
public void setPost(String post) {
this.post = post;
}
public String getDate() {
return date;
}
public void setDate(String date) {
this.date = date;
}
public static void main(String[] args){
OOSpider.create(Site.me().setSleepTime(1000).setHttpProxy(new HttpHost("127.0.0.1",1080)),new ConsolePageModelPipeline(),CnBlogPo.class)
.addUrl("http://www.cnblogs.com/cielosun").thread(5).run();
}
}
其中，因为我用了代理，所以设置了setHttpProxy方法，如果没使用代理不需要这样。整个类是一个添加了注解的POJO，非常适合Java编程。几个注解意思如下：
- TargetUrl 有所有需求数据的地址，本例子中，是任意文章的位置。
- HelpUrl 辅助检索的目录，本例子中，是文章列表的位置。
- ExtractBy 基于XPath的定位方式，注明POJO中各元素的关联定位。
关于OOSPider，其中参数分别为，Site对象（包含对爬虫的配置信息），Pipeline对象（包含输出位置信息），POJO的类名，根链接（从该处开始运行爬虫）。而其thread方法表示开启的线程数量,run方法表示前台运行，如果用start则在后台运行，不阻塞主线程。
具体的详细的内容请参考官方中文文档。
4. 特别注意
- 在TargetUrl和HelpUrl中使用的是正则表达式，但.表示\.，*表示.*更适合描述Url。
- ExtractBy使用的XPath中增加了如下方法：
| Exp | Description |
|---|---|
| text(n) | 第n个直接文本子节点，为0表示所有 |
| allText() | 所有的直接和间接文本子节点 |
| tidyText() | 所有的直接和间接文本子节点，并将一些标签替换为换行，使纯文本显示更整洁 |
| html() | 内部html，不包括标签的html本身 |
| outerHtml() | 内部html，包括标签的html本身 |
| regex(@attr,expr,group) | 这里@attr和group均可选，默认是group0 |
