摘要：
需要做一个爬虫，最开始看到网上对larbin评价不错，就想着在它的基础上改改，结果后来发现我这个从来没在linux上做过开发的人，这么一下在上手效率是在太低。 想找个基于Windows的C或者C++的开源爬虫结果没发现有合适的。于是不得已只能转投C#阵营了，虽然不是很熟，但毕竟是微软的，比起直接转到java还是简单不少。 千辛万苦找到了NCrawler，发现相对于其他几个比如ArachNode.Net和OpenWebSpiderCS代码量还是要小很多，而且作者一直在开发，感觉不错，于是就决定使用它了。 因为NCrawler一个爬虫只爬一个域名下的网页，我需要爬很多个网站，于是就利用VS201. 阅读全文
