    “晚风吹人醒 万事藏于心 
        我没说不公平 也没说苦 我说我知道了”

posts - 70,comments - 1,views - 26309

08 2020 档案

html Meta 标签屏蔽蜘蛛抓取的方法教程

摘要：今天有人说可以利用 html 页面的中 meta 标签来屏蔽搜索引擎蜘蛛的抓取或不让蜘蛛抓取网页中的其它链接，本着好奇的精神，就查了一些相关的资料，发现了一串类似 <meta name='robots' content='noindex,nofollow' /> 这样的HTML代码，可以告诉来网页爬阅读全文

posted @ 2020-08-27 09:02 诗里刻画的影子阅读(1178) 评论(0) 推荐(0) 编辑