2013年9月15日
关于网络爬虫和网站数据采集的一些总结
摘要： 由于公司这段时间比较缺人手，这段时间上游戏厂商的专题活动也较为频繁，不得不做一个新闻采集的小软件，采集别人站点的一些新闻到我们平台上。 自己总结了下，新闻采集主要有几点： 1、通过模拟http请求，请求页面内容 2、通过正则表达式，把页面内容进行过滤，取出想要的部分。 3、把数据给整合成符合我们需要... 阅读全文
posted @ 2013-09-15 21:58 keepnode 阅读(2035) 评论(0) 推荐(0) 编辑