HtmlAgilityPack 加载中文页面时出现在乱码的最终解决方案

      前几天我在博客园转载了一篇"net HtmlParser初步使用研究"的文章，之后看过文章评论才知道原来现在已经有HtmlAgilityPack这个类库可以更方便地对HTML内容进行分析和提取。因此今天特别学习和实践了一下HtmlAgilityPack和XPath，并作下笔记。

 

 HtmlAgilityPack是用C#写的开源Html Parser。不过可能在某些方面设计不尽完善，或者是对中文的支持并不是很好，例如，抓取中文页面时就出现乱码．

我的代码如下：

 

            HtmlWeb hw = new HtmlWeb();
            HtmlDocument doc = hw.Load("http://www.xinlg.com");
            //HtmlNodeCollection nodes = doc.DocumentNode.SelectNodes("//a");

　　　　　　　 Response.Write(doc);

　　　　　　　　

页面输出时，全部是乱码，不过有些页面又是正常的，cnblogs是正常，新浪，QQ，新华网等都是乱码，这可能跟编码有关．

具体的开源代码我就没有去看了，我的解决方案就是自己写一个获取Html的方法．

代码如下：

 

        /// <summary>
        /// 获取指定URL的HTML源代码
        /// </summary>
        /// <param name="url"></param>
        /// <param name="encoding">如果为NULL 则自动识别</param>
        /// <returns></returns>
        public static string GetWebHtml(string url, Encoding encoding)
        {
            try
            {
                HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(url);
                HttpWebResponse res;

                try
                {
                    res = (HttpWebResponse)hwr.GetResponse();
                }
                catch
                {
                    return string.Empty;
                }

                if (res.StatusCode == HttpStatusCode.OK)
                {
                    using (Stream mystream = res.GetResponseStream())
                    {
                        //没有指定编码，
                        if (encoding == null)
                        {
                            return DecodeData(mystream, res);
                        }
                        //指定了编码
                        else
                        {
                            using (StreamReader reader = new StreamReader(mystream, encoding))
                            {
                                return reader.ReadToEnd();
                            }
                        }
                    }
                }

                return null;
            }
            catch
            {
                return null;
            }
        }


        private static string DecodeData(Stream responseStream, HttpWebResponse response)
        {
            string name = null;
            string text2 = response.Headers["content-type"];
            if (text2 != null)
            {
                int index = text2.IndexOf("charset=");
                if (index != -1)
                {
                    name = text2.Substring(index + 8);
                }
            }
            MemoryStream stream = new MemoryStream();
            byte[] buffer = new byte[0x400];
            for (int i = responseStream.Read(buffer, 0, buffer.Length); i > 0; i = responseStream.Read(buffer, 0, buffer.Length))
            {
                stream.Write(buffer, 0, i);
            }
            responseStream.Close();
            if (name == null)
            {
                MemoryStream stream3 = stream;
                stream3.Seek((long)0, SeekOrigin.Begin);
                string text3 = new StreamReader(stream3, Encoding.ASCII).ReadToEnd();
                if (text3 != null)
                {
                    int startIndex = text3.IndexOf("charset=");
                    int num4 = -1;
                    if (startIndex != -1)
                    {
                        num4 = text3.IndexOf("\"", startIndex);
                        if (num4 != -1)
                        {
                            int num5 = startIndex + 8;
                            name = text3.Substring(num5, (num4 - num5) + 1).TrimEnd(new char[] { '>', '"' });
                        }
                    }
                }
            }
            Encoding aSCII = null;
            if (name == null)
            {
                aSCII = Encoding.GetEncoding("gb2312");
            }
            else
            {
                try
                {
                    if (name == "GBK")
                    {
                        name = "GB2312";
                    }
                    aSCII = Encoding.GetEncoding(name);
                }
                catch
                {
                    aSCII = Encoding.GetEncoding("gb2312");
                }
            }
            stream.Seek((long)0, SeekOrigin.Begin);
            StreamReader reader2 = new StreamReader(stream, aSCII);
            return reader2.ReadToEnd();
        }

 

我测试过了，大型网站都没有问题．

最后再调用时，代码如下：

 

 

            string Html = XINLG.Labs.Utils.NetUtil.GetWebHtml("http://www.cnblogs.com/pick/", null);
            HtmlDocument doc = new HtmlDocument();
            doc.LoadHtml(Html);

 

在上面的代码中，如果你不知道指定的url编码是什么，直接写NULL,自动判断．

另外，网上还介绍了方法，可以去 HtmlAgilityPack的官网下载源代码，打开项目，自己改一下，代码我就不提供了，大家可以自己搜索一下．