爬虫开发（一）

　　爬虫主要用来做数据采集，又名网络蜘蛛，内容网站很多就是用爬虫来抓取数据的。本系列（现在还不知道有几篇）旨在实现一个基本的爬虫程序(框架)。开发语言：C#

　　爬虫是要从源源不断的抓取到的页面中过滤出我需要的目标数据。既然要源源不断的抓取数据，那么我们就要有一个各个页面的URL的集合，去模拟访问这些URL，来分析返回的数据，从而再根据我们分析的HTML DOM结构获取到我们需要的数据。

　　URL的获取，通常，我们应该有一个Root节点，也就是根URL，然后就像树形结构一样去遍历他的各个子节点。说的形象一点，比如，一个网站的首页，上面有各个导航的URL1、URL2，URL3……也就是说只要我们获取到了网站首页的数据，然后筛选出所有的URL，就能获取这个根URL的直接子节点。然后我们再获取URL1的数据，从而获取URL1的直接子节点，然后一直这样重复下去，最后我们就可以得到一个庞大的树形结构。

　　数据的获取，每请求一个URL都会返回数据，也就是HTML文档的源码，我们要获取目标数据就要弄明白文档结构，而不同的页面有不同的文档结构。废话不多说了，程序员之间交流，还是直接上代码更容易理解。

　　对于Http访问，这里使用WebClient。新建一个Crawler的类库，并且新建一个Crawler类，代码如下：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.IO;

namespace Crawler
{
    /// <summary>
    /// 爬虫
    /// </summary>
    public class Crawler
    {
        /// <summary>
        /// 基URI
        /// </summary>
        public string BaseUri { get; set; }

        /// <summary>
        /// 构造函数
        /// </summary>
        /// <param name="url">基URI</param>
        public Crawler(string baseUri)
        {
            this.BaseUri = baseUri;
        }

        /// <summary>
        /// 构造函数
        /// </summary>
        public Crawler() { }

        /// <summary>
        /// 保存数据处理程序
        /// </summary>
        public Action<string> SaveHandler;

        /// <summary>
        /// 采集数据
        /// </summary>
        public void Crawl(string targetUri)
        {
            WebClient webClient = new WebClient();

            // 设置基URI
            webClient.BaseAddress = this.BaseUri;

            // 获取流
            StreamReader reader = new StreamReader(webClient.OpenRead(targetUri), Encoding.UTF8);

            // 读取数据
            string html = reader.ReadToEnd();

            // 关闭流
            reader.Close();

            // 保存结果
            this.Save(html);

        }

        /// <summary>
        /// 保存数据
        /// </summary>
        /// <param name="html">数据</param>
        private void Save(string html)
        {
            SaveHandler(html);
        }
    }
}

这样一个很简单的爬虫类就写完了，我们可以试着调用一下，新建一个控制台应用程序，代码如下：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using Crawler;

namespace CrawlerConsole
{
    class Program
    {
        static void Main(string[] args)
        {

            Crawler.Crawler crawler = new Crawler.Crawler("http://www.baidu.com");

            crawler.SaveHandler = new Action<string>(html => Console.WriteLine(html));

            crawler.Crawl("/");

        }
    }
}

然后我们Ctrl+F5运行一下，就可以看到我们爬到的百度首页的源码输出到控制台了。

简单介绍一下代码中几个需要注意的地方：

基URI：就是相对地址的主URI，我Crawl方法的参数就要要爬的地址，"/"相对于基URI"http://www.baidu.com"来说就是本页面，也就是首页。看MSDN的解释，BaseAddress 属性包含一个组合了相对地址的基 URI。调用上载或下载数据的方法时，WebClient 对象将此基 URI 与您在方法调用中指定的相对地址进行组合。如果指定的是绝对 URI，则 WebClient 不使用 BaseAddress 属性值。若要移除以前设置的值，请将 BaseAddress 设置为 null 引用（在 Visual Basic 中为 Nothing） 或空字符串 ("")。

WebClient.OpenRead():

OpenRead 方法创建一个 Stream 实例，该实例用于读取 address 参数指定的资源的内容。此方法在打开流时阻止。若要在等待流的同时继续执行，请使用 OpenReadAsync方法之一。

如果 BaseAddress 属性不是空字符串 ("")，且 address 不包含绝对 URI，则 address 必须是相对 URI，此 URI 与 BaseAddress 组合在一起构成所请求数据的绝对 URI。如果QueryString 属性不为 null 引用（在 Visual Basic 中为 Nothing），则将它追加到 address。

关于WebClient的更多信息请参照MSDN：http://msdn.microsoft.com/zh-cn/library/tt0f69eh(v=vs.100).aspx

 

先这样吧，我会尽量抓紧写后面的篇章，最近实在是忙，月底要离职了，还连加六天班。。。