摘要:
本节主要来介绍一下,在C#中制造爬虫,最为常见、常用、实用的基础类 WebRequest、WebResponse。 先来看一个示例 [1.2.1]: 运行以上代码,我们能看到类似如下的输出: 一只爬虫小幼崽儿,就如此轻松的诞生了~ 示例 [1.2.1]中,最核心的部分,就是使用了本节的主题、两个基础 阅读全文
摘要:
在构建本章节内容的时候,笔者也在想一个问题,究竟什么样的采集器框架,才能算得上是一个“全能”的呢?就我自己以往项目经历而言,可以归纳以下几个大的分类: 以上的分类,也有可能不够全面,不过应该可以涵盖主流数据采集的分类了。 为了方便阐述一个爬虫的工作原理,我们从上面找到一条最简单路径,来进行阐述(偷奸 阅读全文