博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

C#-采集百度贴吧内容

Posted on 2010-06-01 17:39  淡如水wp  阅读(908)  评论(2编辑  收藏  举报

http://icuit.cn/bak/Release.rar

基本原理是通过Request到html源码然后解析HTML标签。

首先用System.Net.WebResponse,System.Net.WebRequest两个方法通过url获取到html的string.

然后解析html标签,都说用正则是最合适的做法。

但由于学疏才浅,用了第三方的库HtmlAgilityPack.可以像XML那样获取结点。

HtmlAgilityPack有GetElementbyId,SelectSingleNode,SelectNodes,GetAttributeValue等方法,

InnerHtml,InnerText等主要属性,再加上一些复杂的字符串分析,基本上可以满足要求了。

数据存储依然用的是SQLite。但是这东西似乎并发时表现一般,而且经常会锁住。
所以开了50个线程取数据的同时还得lock住insert的过程。