[wbia 1.7] 网页的入度、出度以及Pagerank结果
经过以上步骤,我们得到了各个网页的入度、出度以及Pagerank结果。根据入度排名的页面前20名如下,每行的三列分别表示Url,出度,入度:
1 http://stl.pku.edu.cn/bbs/forumindex.aspx 97 37879 2 http://stl.pku.edu.cn/cn/index.aspx 142 37209 3 http://stl.pku.edu.cn/BBS/archiver/index.aspx 18 36678 4 http://stl.pku.edu.cn/BBS/index.aspx 0 36657 5 http://stl.pku.edu.cn/BBS/usercpcreditspay.aspx 25 36656 6 http://stl.pku.edu.cn/BBS/usercpsubscribe.aspx 25 36656 7 http://stl.pku.edu.cn/BBS/usercp.aspx 25 36656 8 http://stl.pku.edu.cn/BBS/usercpnewpassword.aspx 25 36656 9 http://stl.pku.edu.cn/BBS/usercpprofile.aspx 25 36656 10 http://stl.pku.edu.cn/BBS/usercpprofile.aspx?action=avatar 25 36656 11 http://stl.pku.edu.cn/BBS/tools/sitemap.aspx 0 36656 12 http://stl.pku.edu.cn/BBS/stats.aspx 25 36656 13 http://stl.pku.edu.cn/BBS/showtemplate.aspx?templateid=1 25 36656 14 http://stl.pku.edu.cn/BBS/showtemplate.aspx 25 36656 15 http://stl.pku.edu.cn/BBS/templates/default/images 1 36656 16 http://stl.pku.edu.cn/BBS/favicon.ico 0 36656 17 http://stl.pku.edu.cn/BBS/ 0 36656 18 http://stl.pku.edu.cn/BBS/search.aspx 17 36639 19 http://stl.pku.edu.cn/BBS/templates/default 1 36637 20 http://stl.pku.edu.cn/BBS/login.aspx 24 36637
根据出度排名的页面前20如下,每行的三列分别表示Url,出度,入度:
1 http://www.pkuszh.com/ 383 5 2 http://www.pkuszh.com/index.jsp 382 665 3 http://phbs.pku.edu.cn/bbs/left.asp 319 9 4 http://phbs.pku.edu.cn/info/bbs/online.asp?menu=tolrestore 306 6 5 http://phbs.pku.edu.cn/info/bbs/online.asp?menu=board 306 6 6 http://phbs.pku.edu.cn/info/bbs/online.asp?menu=todaypage 306 6 7 http://phbs.pku.edu.cn/info/bbs/online.asp?menu=cutline 306 6 8 http://phbs.pku.edu.cn/bbs/online.asp?menu=cutline 306 7 9 http://phbs.pku.edu.cn/bbs/online.asp?menu=todaypage 306 7 10 http://phbs.pku.edu.cn/bbs/online.asp?menu=board 306 7 11 http://phbs.pku.edu.cn/bbs/online.asp?menu=tolrestore 306 7 12 http://rw.pkusz.edu.cn/info/list.asp?classid=4 291 311 13 http://rw.szpku.edu.cn/info/list.asp?classid=4 291 311 14 http://www.pkuszh.com/clinic.jsp?day=1 256 2 15 http://www.pkuszh.com/clinic.jsp?day=2 256 2 16 http://www.pkuszh.com/clinic.jsp?day=3 256 2 17 http://www.pkuszh.com/clinic.jsp?day=4 256 2 18 http://www.pkuszh.com/clinic.jsp?day=5 256 2 19 http://www.pkuszh.com/clinic.jsp?day=6 256 2 20 http://www.pkuszh.com/clinic.jsp?day=7 256 2
根据Pagerank排名的前20名如下,三列分别表示url,pagerank,入度
http://phbs.pku.edu.cn/bbs/Licence.asp 0.00982983811021240390 18127 http://phbs.pku.edu.cn/info/bbs/Licence.asp 0.00834580451985804210 17117 http://finpeople.phbs.pku.edu.cn:8080/bbs/ 0.00819500390056993391 8254 http://licence.bbsxp.com/Licence.asp?web=phbs.pku.edu.cn 0.00772622598377128642 2 http://rw.pkusz.edu.cn/bbs/Licence.asp 0.00627703840395491246 6852 http://rw.szpku.edu.cn/bbs/Licence.asp 0.00627638224736469519 6852 http://scbb.szpku.edu.cn/lab/index.asp 0.00574865395806873746 10606 http://phbs.pku.edu.cn/bbs/online.asp 0.00530647654379019350 17932 http://phbs.pku.edu.cn/bbs/ShowForum.asp?forumid=11 0.00530647654379019350 17932 http://phbs.pku.edu.cn/bbs/ShowForum.asp?forumid=294 0.00530647654379019350 17932 http://phbs.pku.edu.cn/bbs/ShowForum.asp?forumid=7 0.00530647654379019350 17932 http://phbs.pku.edu.cn/bbs/ShowForum.asp?forumid=6 0.00530647654379019350 17932 http://phbs.pku.edu.cn/bbs/ShowForum.asp?forumid=24 0.00530647654379019350 17932 http://phbs.pku.edu.cn/bbs/login.asp 0.00530647654379019350 17932 http://phbs.pku.edu.cn/bbs/ShowForum.asp?forumid=8 0.00530647654379019350 17932 http://phbs.pku.edu.cn/bbs/register.asp 0.00530644082604916651 17931 http://phbs.pku.edu.cn/bbs/help.asp 0.00530644082604916651 17931 http://phbs.pku.edu.cn/bbs/RecoverPasswd.asp 0.00530644082604916651 17931 http://scbb.szpku.edu.cn/lab/rules.asp 0.00499788357330678210 10590 http://scbb.szpku.edu.cn/lab/news.asp 0.00499788357330678210 10590
可以看到,无论是入度还是Pagerank,排名比较靠前的都是bbs的功能页面,因为bbs页面数量众多,每个页面都会有链接指向功能页面。出度比较大的是导航性质的网站。
我们抽取各个排名的前10000名,得到相应数据的图像,得到结果如下:
入度(横轴为入度排名,纵轴为入度值):
可以看到入度下降很快,少数几个URL集中了大部分的链入。
再来看出度得到的图像(横轴为出度排名,纵轴为出度值)
与入度相似,下降很快然后维持基本不动,不过不像入度差别那么大。最高不到400,平均有50左右。
下面来看Pagerank排名与值之间的关系如下:
下降比入度要快。
由上面可以看到,网站出度分布不均衡,网站比较多元化。另外整个网站的入度和pagerank下降很快。由于bbs的页面占有很大比例,因此bbs导航性质的链接显示出了比较大的Pagerank和入度。由于大量的bbs页面存在,在这个爬取结果中,可以认为bbs导航性质的页面是重要的。
posted on 2012-04-16 19:52 liugoodness 阅读(1355) 评论(2) 编辑 收藏 举报