摘要: 远程获取网页内容.经过一定的处理和灵活应用,可以开发成成体系网站内容采集系统.通常也叫做"新闻小偷"一般来说.做内容采集分为如下几个大致的步骤: 1.远程获取页面的全部Html源文本. 2.通过过滤处理,分析有效内容文本.(通常用正则表达式来截取有效数据) 3.将格式有效的数据,根据自己的数据库结构分标题,内容....一些其他属性保存到自己的本地数据库. ok整个采集过程如此简单.原理也不难.下面我们看看实现的具体基础代码! 首先我们来写一个获取远程Html源的方法. public string GetHttpData(string Url) { string sExcep 阅读全文
posted @ 2012-11-18 15:01 rabtor 阅读(645) 评论(2) 推荐(0) 编辑