爬虫/蜘蛛程序的制作(C#语言) 一

   最近写了一个网络爬虫的程序,供大家参考
   程序的思路如下:
   一:需要过滤器过滤出所需的内容,得到一个内容集合;
   二:从过滤出的内容集合里过滤出所需要(比如:可以是新闻标题和地址)的列表;
   三:得到下一页的地址;
   四:根据得到的标题的链接去得到该页的详细内容;
   五:更加下一页的地址继续循环,ok!
   注意:在执行上,最好加线程进行执行,否则会影响效率。这个可以自己根据需求去加。
   
  
posted @ 2007-11-27 17:46  曹振华  阅读(822)  评论(0编辑  收藏  举报