网站的根目录下有一个文件robots.txt ，它是啥？

 

我相信很多人有过这个疑问，这个robots文件是干嘛的？

我想问，各位搜索淘宝时，是否发现（禁止爬虫抓取提供快页）

 

 

关于详细语法，请看：http://zhidao.baidu.com/question/135866525565426005.html?http_skip=1

posted @   Sunsin  阅读(310)  评论(0)  编辑  收藏  举报
编辑推荐：
· AI与.NET技术实操系列：基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语，封装的思维：从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热？
阅读排行：
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型，支持深度思考和联网搜索！
· 基于 Docker 搭建 FRP 内网穿透开源项目（很简单哒）
· 25岁的心里话
· ollama系列01：轻松3步本地部署deepseek，普通电脑可用
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示
SQL AI 助手