摘要:
最近在研究关于垃圾站采集与搜索引擎收录的关系。因为一天大量采集,虽然首页有部分位置调用最新文章,但调用的数据只有若干条,与每天成百上千条的采集内容相差甚远。 因为采集回来的内容过多,一天栏目的列表页就会增多好几页,如果蜘蛛一页一页的进行爬行抓取,这样会增加访问到目标页面的难度,所以萌发了制作一个最新文章列表减少蜘蛛爬行的步骤。通过首页,访问最新文章列表页,然后就可以到最终文章页,这样应该可以利于搜索引擎抓取和收录,和xml地图性质一样,只不过这是HTML页面而已。 修改方法: 1、下载压缩包,解压后上传到根目录。( 点击下载 GBK版) 2、进入网站后台 核心 -> 频道模型 -> 阅读全文