抓取一个网站特定的全部图片（JAVA）
1. 目的
用五笔时，如果碰到不会拆的字，只好换回拼音。但这样做治标不治本，于是到网上找五笔反查工具。最后发现一个不错的网站——不仅有每个字对应的五笔码，还有其字根图。可惜的是，这是一个网站。换句说，就是每次查的时候都要上网。很自然的，会想到将这个网站上的五笔码以及对应的字根图保存到本地上，再写个查询程序做成本地版的>_<
2. 准备工作——网页特点分析
网站（http://www.wb86.com/wbcx）提供了两种查询方式：一种是输入要查询的字；另外一种是一页接着一页地查看。由于懒得找字库，就选择了第二种方式。在此方式下，第一页的URL是http://www.wb86.com/wbcx/index5.asp?page=1，第二页的URL是http://www.wb86.com/wbcx/index5.asp?page=2，第三页的URL是http://www.wb86.com/wbcx/index5.asp?page=3。通过前三个页的URL，有理由相信第X页的URL是http://www.wb86.com/wbcx/index5.asp?page=X。
解决URL问题后，就要分析如何从单个网页得到所需要的资源。查看第一页的源代码发现“86五笔编码”只出现过一次，而且其后面就是想要的五笔码。因此得到服务器发回的内容后，再定位到“86五笔编码”就能得到相应的五笔码。字根图的URL地址出现在五笔码之后，而且都是以“http://www.wb86.com/GIF-82”开头的。因此在“86五笔编码”之后的内容中，找到第一个以“http://www.wb86.com/GIF-82”开头的URL，就是需要的图片地址了。
3. 算法流程
for( 第一页到最后一页 ) {
获取这一页的源代码
从源代码中提取五笔码，字根图的URL
获取字根图
}
4. 源代码
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.util.LinkedList;
import javax.imageio.ImageIO;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpUriRequest;
import org.apache.http.impl.client.DefaultHttpClient;
public class Clawler {
private static final int END_PAGE = 6764;
private static final String PREFIX = "http://www.wb86.com/wbcx/index5.asp?page=";
private static final String CODE_SAVE_PATH = "D:\\Wubi\\WubiCode.txt";
private static final String IMG_SAVE_PATH_PREFIX = "D:\\Wubi\\img\\";
private static LinkedList queue = new LinkedList();
private static String m_imguri;
public static void main(String[] args) throws IOException {
HttpClient httpClient = new DefaultHttpClient();
FileWriter fw = null;
fw = new FileWriter(CODE_SAVE_PATH);
for(int i = 1; i <= END_PAGE; ++i) {
HttpUriRequest request = new HttpGet(PREFIX + i);
try {
HttpResponse response = httpClient.execute(request);
HttpEntity entity = response.getEntity();
StringBuilder builder = new StringBuilder();
if( entity != null ) {
InputStream is = entity.getContent();
byte[] tmp = new byte[2048];
while( is.read(tmp) != -1 ) {
builder.append(new String(tmp));
}
fw.write( getWubiCode(builder.toString(), i) );
downloadImg(m_imguri, IMG_SAVE_PATH_PREFIX + i + ".gif", i);
}
}
catch( Exception e ) {
queue.addLast((Integer)i);
e.printStackTrace();
}
if( i%100==0 ) {
fw.flush();
}
}
System.out.println("\n missing Code");
while( !queue.isEmpty() ) { //下载失败的页面
System.out.println(queue.element());
queue.removeFirst();
}
System.out.print("all done");
fw.close();
httpClient.getConnectionManager().shutdown();
}
public static String getWubiCode(String page, int number) { //提取五笔码，字根图的URL
StringBuilder save = new StringBuilder();
page = page.substring(page.indexOf("86五笔编码"));
int index = 7;
while( page.charAt(index)!= '<' ) save.append(page.charAt(index++));
save.append(System.getProperty("line.separator"));
index = 0;
StringBuilder imgpath = new StringBuilder();
page = page.substring(page.indexOf("http://www.wb86.com/GIF-82"));
while( page.charAt(index) != '\"' ) imgpath.append(page.charAt(index++));
m_imguri = imgpath.toString();
save.insert(0, imgpath.charAt(imgpath.length() - 5));
save.insert(1, ' ');
return save.toString();
}
public static void downloadImg(String url, String path, int number) { //下载图片
try {
File out = new File(path);
BufferedImage buffer = ImageIO.read(new URL(url));
if( buffer == null ) {
queue.addLast(number);
System.out.println(number + " " + url);
}
else {
ImageIO.write(buffer, "gif", out);
}
}
catch( IOException e ) {
queue.addLast(number);
System.out.println(url);
System.out.println(e.getMessage());
}
}
}
5. 参考资料
a. httpClient4.1入门教程（中文版）
http://wenku.baidu.com/view/0a027c5e804d2b160b4ec029.html
b. 论坛图片爬虫的一种实现
http://www.iteye.com/topic/1044289
c. 最简单的搜索引擎思路
http://www.iteye.com/topic/1055424
