2015年1月20日
浅谈在静态页面上使用动态参数，会造成spider多次和重复抓取的解决方案
摘要： 原因:早期由于搜索引擎蜘蛛的不完善，蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。所以蜘蛛为了避免之前现象就不读取动态的url，特别是带？的url解决方案:1):配置路由 routes.MapRoute("RentofficeList", ... 阅读全文
posted @ 2015-01-20 18:16 ToNiQian 阅读(1891) 评论(1) 推荐(0) 编辑