.Net下爬虫框架（整理）

网上整理中......

HtmlAgilityPack：HtmlAgilityPack是一个HTML文档处理库，它使您能够方便地在HTML文档中进行XPath查询和操作。虽然它不是一个专门用于爬取的框架，但可以用于解析和分析HTML页面，从而构建自己的爬虫。

AngleSharp：AngleSharp是一个强大的.NET库，用于解析HTML和XML文档，并支持类似于jQuery的CSS选择器和LINQ查询。它可以用于构建Web爬虫，轻松地从网页中提取数据。

ScrapySharp：ScrapySharp是一个.NET版本的Scrapy，是一个用于爬取网站数据的强大框架。它提供了类似于Scrapy的API，并且可以轻松地爬取网页、提取数据并进行数据处理。

DotnetSpider：DotnetSpider是一个.NET Core版本的爬虫框架，它提供了一套完整的解决方案，包括下载、解析、处理和存储网页数据的功能。它支持分布式爬取、多线程爬取等特性，并且易于扩展和定制。

Abot：Abot是一个轻量级的.NET爬虫框架，用于爬取网站并提取数据。它支持多线程爬取、网站深度优先搜索、URL过滤等功能，并且易于使用和扩展。

 

Crawler.NET: Crawler.NET是一个基于.NET的爬虫框架，它提供了异步爬虫、页面下载、页面解析、数据存储等功能。

WebScraping.NET: 这是一个开源的.NET爬虫库，它提供了简单的API来抓取网页内容。

C# Port of BeautifulSoup: BeautifulSoup是一个非常流行的Python库，用于解析HTML和XML文档。有人已经将它移植到了.NET上，称为BeautifulSoup.NET。

Flurl.Http: 这是一个轻量级的.NET HTTP库，它提供了易于使用的API来发送HTTP请求和处理响应。

Azure Functions: 如果你在云环境中工作，并且想要构建分布式爬虫，你可以考虑使用Azure Functions。你可以编写无服务器的爬虫代码，并在Azure上执行它们。