Net Core 基于AngleSharp的HTML转实体工具

 最近这几天在采集一些房产信息网站的二手房产数据。采用的是.net core 2.2+AngleSharp做的，放在自己服务器上跑着玩。写着写着，发现好麻烦。原因如下

部分代码如下图

 

 

1、每个节点都要手动写代码采集；

2、要采集的数据可能是内容，也可能是属性；

3、还要特殊处理一些字符，例如去除一些 平米、万、m²、等等等等；

于是，就想着，如果有一个工具，我只需要将要采集的属性标记一下，仍给你html内容，你给我组装好的实体。多好。

以下是一个DEMO 类

 

    [HtmlNode(Selector = ".sellListContent li", IsSingle = false)]
    public class FangJia
    {
        /// <summary>
        /// 标题
        /// </summary>
        [HtmlNode(Selector = ".title", ValueFrom = HtmlNode.Content)]
        public string Title { get; set; }

        /// <summary>
        /// 图片地址
        /// </summary>
        [HtmlNode(Selector = "img[class='lj-lazy']", ValueFrom = HtmlNode.Attribute, AttributeValue = "data-original")]
        public string ImageUrl { get; set; }

        /// <summary>
        /// 价格
        /// </summary>
        [HtmlNode(Selector = ".unitPrice", ValueFrom = HtmlNode.Attribute, AttributeValue = "data-price")]
        public int Price { get; set; }

        /// <summary>
        /// 总价
        /// </summary>
        [HtmlNode(Selector = ".totalPrice", ValueFrom = HtmlNode.Content, TrimCharacter = "万,元", IsSingle = true)]
        public decimal Total { get; set; }

        /// <summary>
        /// 小区名称
        /// </summary>
        [HtmlNode(Selector = ".positionInfo a", Index = 1, ValueFrom = HtmlNode.Content)]
        public string CommunityName { get; set; }

        /// <summary>
        /// 地址
        /// </summary>
        [HtmlNode(Selector = ".positionInfo a", Index = 2, ValueFrom = HtmlNode.Content)]
        public string Address { get; set; }

        /// <summary>
        /// 标签
        /// </summary>
        [HtmlNode(Selector = ".tag span", IsSingle = false, ValueFrom = HtmlNode.Content)]
        public string Marks { get; set; }

        public override string ToString()
        {
            return $"{CommunityName}\t{Price}\t{Total}\t{Address}\t{Title}\t{ImageUrl}\t{Marks}";
        }
    }

简单说一下

 Selector 要采集的样式选择器，子节点是按照相对于主节点路径的选择器，按照 AngleSharp 标准来的。网上资料很多就不再多说；

 IsSingle 是否只有一个节点，默认为 true，true只采集第一个有效节点，false 将采集所有节点数据，虽然可能只返回一条；

 ValueFrom 要采集的数据来源，有 Content(文字内容)，Html(html内容)，Attribute(属性)，None（不采集）；

 AttributeValue 从那个属性中获取内容，当 ValueFrom 为 Attribute 时有效；

 Index 要选择的节点 从1 开始,默认为1，当 IsSingle 为 false 时无效；

 TrimCharacter 要去除的字符,多个用","分割，采集时将会去除的内容；

测试程序

        static void TestHtmlToEntity()
        {
            var html = HttpClient.Get("https://hz.lianjia.com/ershoufang/xihu/", null, out var success, 10);


            var entitys = html.ToList<FangJia>();
            if (entitys != null)
                foreach (var entity in entitys)
                    Console.WriteLine(entity);
        }

运行结果如下，数据已正常采集

代码地址：https://gitee.com/sunnyfish/HtmlToEntity

 AngleSharp 官网 https://anglesharp.github.io/

 github 地址 https://github.com/AngleSharp/AngleSharp