Crawler首次大规模爬行成功!
无故障,非常稳健的完成了我对特定68所网络学院的抓取!
系统开始抓取时间:2007年4月2日22:28: 22
系统结束抓取时间:2007年4月3日01:53:05
系统历时:3小时24分33秒
抓取WEB页面:1,527,707,565byte
总节点数(为纯文本页面,包含动态页面不含重复):89,388个
其他链接信息为统计再内!
系统开始抓取时间:2007年4月2日22:28: 22
系统结束抓取时间:2007年4月3日01:53:05
系统历时:3小时24分33秒
抓取WEB页面:1,527,707,565byte
总节点数(为纯文本页面,包含动态页面不含重复):89,388个
其他链接信息为统计再内!