2008年12月10日

摘要: 这里说的正文提取/抽取,指的是从任意页面中抽取出网页的正文内容,要过滤掉导航、广告等不相关内容。从网页中提取的正文一般来说模板是最好最准确的方式,在专业术语中就是wrapper,对web归纳总结出提取规则创建包装器wrapper。但由于在大多数条件下制作模板是个很烦人的工作,而且如果抓取的种子站过多... 阅读全文
posted @ 2008-12-10 20:36 隨風.NET 阅读(1790) 评论(1) 推荐(0) 编辑
摘要: 需要做一个垂直搜索引擎,比较了nekohtml和htmlparser 的功能,尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好(htmlunit也用的是nekohtml),但感觉nekohtml的测试用例和文档都比htmlparser都少,而且htmlparser基本上能够... 阅读全文
posted @ 2008-12-10 17:41 隨風.NET 阅读(2095) 评论(1) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

点击右上角即可分享
微信分享提示