URLConnection-简单爬虫(转)
转自：http://bbs.itcast.cn/thread-6269-1-1.html
收录方便以后参考
一、URLConnection入门
URLConnection代表应用程序和 URL 之间的通信链接。
创建一个到 URL 的连接需要几个步骤：
1、通过在 URL 上调用 openConnection 方法创建连接对象。
URL url = new URL("http://localhost:8080/day04/1.html");
2、处理设置参数和一般请求属性。
- 表示应用程序要将数据写入 URL 连接，及发送数据
conn.setDoOutput(true); //默认false
- 表示应用程序要从 URL 连接读取数据，及获取数据
conn.setDoInput(true); //默认true
3、使用 connect 方法建立到远程对象的实际连接。
conn.connect();
只是建立了一个与服务器的tcp连接，并没有实际发送http请求
4、远程对象变为可用。远程对象的头字段和内容变为可访问。
conn.getOutputStream();
注意：
如果setDoOutput没有设置true，会出现java.net.ProtocolException异常
getOutputStream会隐含的进行connect
conn.getInputStream();
注意： 在调用此方法之前以上所准备的数据仅缓存在本地内存中。调用了此方法将内存缓冲区中封装好的完整的HTTP请求发送到服务端
package cn.itcast.url; import java.io.InputStream; import java.io.OutputStream; import java.net.URL; import java.net.URLConnection; import java.util.Scanner; /** * URLConnection简单示例 * @author <a href="mailto:liangtong@itcast.cn">梁桐</a> */ public class UrlConnectionTest { public static void main(String[] args) throws Exception{ //对指定的web链接进行描述 URL url = new URL("http://localhost:8080/day04/1.html"); //确定链接是否，获得链接--链接否？ URLConnection conn = url.openConnection(); //设置参数 conn.setDoOutput(true); //默认false，是否可发送数据 conn.setDoInput(true); //默认true,是否可以接受数据 //链接 conn.connect(); //发送数据 OutputStream out = conn.getOutputStream(); //java.net.ProtocolException out.write("username=rose".getBytes()); //获得资源，并打印到控制台 InputStream is = conn.getInputStream(); Scanner scanner = new Scanner(is); while(scanner.hasNext()){ System.out.println(scanner.nextLine()); } is.close(); out.close(); } }
二、URLConnection--简单爬虫
上一节URLConnection入门 我们简单的介绍了URLConnection类的使用。今天我们将在此基础上完成一个小功能--爬虫
原理：获得下载资源，使用程序将此资源保存到本地
步骤：
1、分析下载站点
- 下载内容列表页：http://sc.*.com/tubiao/index.html
- 下载内容详细页：/tubiao/120602202460.htm
- 下载地址： http://*.com/Files/download/icon3/4620.rar
2、通过程序实现以上分析过程，并获得下载地址
- 使用循环获得所有的下载列表页的链接
- 通过链接将列表页下载，并通过正则表达式，获得当前列表页中所有的详细页链接
- 下载详细页，仍通过正则表达式，获得下载地址链接。
3、将内容保存到本地
通过下载地址链接，将需要下载的内容保存到本地
package cn.itcast.download; import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStream; import java.io.UnsupportedEncodingException; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /** * 简单爬虫 * @author <a href="mailto:liangtong@itcast.cn">梁桐</a> */ public class ICOLoad { public static void main(String[] args) throws Exception { //遍历测试站点的所有列表页。测试站点列表页的第一页比较测试，所以单独处理 for (int i = 1; i <= 266; i++) { String url; if (i == 1) { url = "http://sc.*.com/tubiao/index.html"; } else { url = "http://sc.*.com/tubiao/index_" + i + ".html"; } System.out.println("################# " + url); //获得当前列表页中，所有可用详细页链接 List<String> paths = ICOLoad.getPaths(url, 1); for (String path : paths) { System.out.println("获取" + path); //获得当前详细页的指定的下载链接 List<String> downURLs = ICOLoad.getPaths(path, 2); for (String downURL : downURLs) { System.out.println("下载中 ..." + downURL); // 下载 ICOLoad.downIcon(downURL); System.out.println(downURL + "下载完成"); } } } } /** * 通过给定的解析方法，解析需要的路径 * @return * @throws Exception */ public static List<String> getPaths(String url, int count) { List<String> paths = new ArrayList<String>(); try { URL icoUrl = new URL(url); URLConnection conn = icoUrl.openConnection(); //测试网站使用的gb2312编码 BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), "gb2312")); String line = null; while ((line = reader.readLine()) != null) { //此处直接使用if简化操作 // 处理列表页面 if (count == 1) { String path = findPath(line); if (path != null) { //列表页中的详细页地址都是相对路径，此处获得完整路径 String completeUrl = new URL(icoUrl, path).toString(); if (!paths.contains(completeUrl)) { // 过滤已有，测试网站图标和链接出各有一个所需链接 paths.add(completeUrl); } } } // 处理下载地址 if (count == 2) { String path = findDownURL(line); if (path != null) { paths.add(path); } } } reader.close(); return paths; } catch (MalformedURLException e) { e.printStackTrace(); } catch (UnsupportedEncodingException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } return paths; } /** * 处理列表页 * href="/tubiao/120602202460.htm" */ private static Pattern pathPattern = Pattern.compile(".*(/tubiao/[\\d]+.htm).*"); public static String findPath(String str) { // String str = "<span><a target=\"_blank\" href=\"/tubiao/120524539010.htm\" alt=\"网站小图标下载\">网站小图标下载</a></span>"; Matcher matcher = pathPattern.matcher(str); if (matcher.find()) { return matcher.group(1); } return null; } /** * 处理下载页,仅下载icon页面 * <a href="http://*.com/Files/DownLoad/icon/rw_11.rar">ICO中国网通下载</a> * <a href="http://*.com/Files/download/icon3/4620.rar">ICO中国网通下载</a> */ private static Pattern downPattern = Pattern.compile(".*(http://*.com/.*icon.*.rar).*"); public static String findDownURL(String str) { Matcher matcher = downPattern.matcher(str); if (matcher.find()) { return matcher.group(1); } return null; } /** * 下载文件所在位置 */ private static File downFile = new File("D:\\Image\\icoDown\\"); static { if (!downFile.exists()) { downFile.mkdirs(); } } /** * 下载指定内容 * @param path */ public static void downIcon(String path) { try { URL url = new URL(path); String icoFileUrl = url.getFile(); String fileName = getFileName(icoFileUrl.substring(1 + icoFileUrl .lastIndexOf("/"))); File icoFile = new File(downFile + File.separator + fileName); if (!icoFile.exists()) { icoFile.createNewFile(); URLConnection conn = url.openConnection(); InputStream is = conn.getInputStream(); OutputStream out = new FileOutputStream(icoFile); byte[] buf = new byte[1024]; int len = -1; while ((len = is.read(buf)) > -1) { out.write(buf, 0, len); } out.close(); is.close(); } } catch (MalformedURLException e) { e.printStackTrace(); } catch (FileNotFoundException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } /** * 获得下载文件本地名称，如果重名自动加1 * @param fileName * @return */ public static String getFileName(String fileName) { File file = new File(downFile + File.separator + fileName); if (file.exists()) { String fileNum = fileName.substring(0, fileName.indexOf(".")); Integer num = Integer.valueOf(fileNum); return getFileName((num + 1) + ".rar"); } return fileName; } }
