“晚风吹人醒 万事藏于心 
        我没说不公平 也没说苦 我说我知道了”
posts - 70,comments - 1,views - 26309

今天有人说可以利用 html 页面的中 meta 标签来屏蔽搜索引擎蜘蛛的抓取或不让蜘蛛抓取网页中的其它链接,本着好奇的精神,就查了一些相关的资料,发现了一串类似 <meta name='robots' content='noindex,nofollow' /> 这样的HTML代码,可以告诉来网页爬取的蜘蛛本页内容是否可以抓取,是否可以抓取网页上的其它链接。

SEO优化之 meta 标签的解析

html meta标签的代码如下:

<meta name='robots' content='noindex,nofollow' />

解释:

name :是指的所有的搜索引擎.它的值有多个,下面列出几个。

robots:表示所有的搜索引擎

Baiduspide:百度

Googlebot:谷歌

content:表示对搜索引擎蜘蛛的行为做出指示,它有下面的几值来表示。

index:允许本页被抓取

noindex:禁止许本页被抓取

follow:允许本页的上其它链接可以被跟踪抓取

nofollow:禁止本页上的其它链接被跟踪抓取

noarchive:禁止搜索引擎对网站建立快照

SEO优化之 meta 标签的用法

根据上面 content 属性的四个值,我们可以列出以下几个组合的用法:

<meta name='robots' content='index,follow' />:可以抓取本页,也可以顺着本页继续索引别的链接

<meta name='robots' content='noindex,follow' />:禁止抓取本页,但可以抓取跟踪本页的其它链接

<meta name='robots' content='index,nofollow' />:可以抓取本页,禁止抓取和跟踪本页的其它链接

<meta name='robots' content='noindex,nofollow' />:禁止抓取本页,禁止抓取和跟踪本页的其它链接

<meta name='robots' content='noarchive' />:禁止搜索引擎建立快照

需要注意的是:

1、index 与 follow 的组合可以简化为 all 

<meta name='robots' content='index,follow' /> 

可以写成

<meta name='robots' content='all' /> 

2、noindex 与 nofollow 组合可以简化为 none

<meta name='robots' content='noindex,nofollow' /> 

可以写成

<meta name='robots' content='none' /> 

3、相反的属性值是不能写在一样的,比如 index 与 noindex 不能写到一起,follow 与 nofollow 不能写到一起

下面的两个示例是错误的

<meta name='robots' content='index,onindex' /> 

<meta name='robots' content='follow,onfollow' /> 

 

转自:https://www.feiniaomy.com/post/596.html

posted on   诗里刻画的影子  阅读(1178)  评论(0编辑  收藏  举报
编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 周边上新:园子的第一款马克杯温暖上架
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?
· 使用C#创建一个MCP客户端
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示