经过一个半月的辛苦,终于把网络媒体信息调研系统与新闻采集系统开发出来,虽然其中还有不少的Bug,当然基本上可以正常的运转了,至少能够满足公司的要求了。今天先来贴贴图,放点水,不知道大家对这方面的东西是否感兴趣,如果人气比较旺的话,后期我将做进一步的整理,把系统的架构和思路与大家分享,今天下贴几个图先。
系统采集程序后台截图
原理:动态从数据库中检索需要采集的网站,用多线程下载相应网站,根据相应的正则表达式匹配各种需要下载的资源(包括Flash,图片等),并修改相应的地址
后台管理系统
网站收集管理
动态图表分析
从数据库读取采集到的新闻