Robots.txt在项目中的运用
在开发公司一个项目的过程中,有这样一个需求
该网站上面有一个search功能,可以search该网站上的任何包括特定内容的网页
现在有一个需求,就是针对几个特定的页面,我们希望网站上的search功能查找不到它们,同时呢,还需要搜索引擎(比如 google, bing等)无法搜索到这几个页面
关于网站上自带的search功能查找不到这几个网页,在后台使用C#代码就可以实现
而如何来确保搜索引擎(eg: google, bing等)无法搜索到这几个页面,如何实现呢
我采取的是使用Robots.txt来实现
Robots.txt原来的内容如下:
User-agent: * Sitemap: https://mysite.com/sitemap.xml
这个表示任何搜索引擎,抓取工具的用户代理都可以访问这个网站的所有页面资源. 网站的地图文件位于 https://mysite.com/sitemap.xml
假设我们需要针对搜索引擎屏蔽的文件如下:
https://mysite.com/mytest1
https://mysite.com/mytest2
https://mysite.com/mytest3
那么,我们需要修改Robots.txt文件如下
User-agent: * Sitemap: https://mysite.com/sitemap.xml disallow: /mytest1 disallow: /mytest2 disallow: /mytest3
这样,就可以确保这三个页面不被任何搜索引擎抓取
分类:
CSS
, JavaScript
标签:
CSS
, JavaScript
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律