C# 使用HtmlAgilityPack抓取网页信息

前几天看到一篇博文：C# 爬虫 抓取小说

博主使用的是正则表达式获取小说的名字、目录以及内容。

 

下面使用HtmlAgilityPack来改写原博主的代码

在使用HtmlAgilityPack之前，可以先熟悉一下XPath：点我

代码如下:

using System;
using System.IO;
using System.Text;
using HtmlAgilityPack;

namespace HtmlAgilityPackDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            HtmlWeb htmlWeb = new HtmlWeb();
            HtmlDocument document = htmlWeb.Load("http://www.23us.so/files/article/html/13/13655/index.html");
            FileStream fs = new FileStream("无疆.txt", FileMode.Append, FileAccess.Write);
            StreamWriter sr = new StreamWriter(fs, Encoding.UTF8);
            try
            {
                HtmlNodeCollection nodeCollection = document.DocumentNode.SelectNodes(@"//table/tr/td/a[@href]"); //  //代表获取所有
                foreach (var node in nodeCollection)
                {
                    HtmlAttribute attribute = node.Attributes["href"];
                    string val = attribute.Value;
                    var title = htmlWeb.Load(val).DocumentNode.SelectNodes(@"//h1")[0].InnerText; //文章标题
                    var doc = htmlWeb.Load(val).DocumentNode.SelectNodes(@"//dd[@id='contents']");//文章内容
                    var content = doc[0].InnerHtml.Replace("&nbsp;", "").Replace("<br>", "\r\n"); 
                    sr.WriteLine("\r\n" + title + "\r\n" + content); // 开始写入
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.ToString());
            }
            finally
            {
                sr.Close();
                fs.Close();
            }
            Console.WriteLine("ok");
            Console.ReadKey(true);


        }


    }
}

 

实现效果和原博主一样!

代码仅供参考！！！