2023年2月14日
robots.txt详解[通俗易懂]
摘要： 大家好，又见面了，我是你们的朋友全栈君。 怎样查看robots文件？ 浏览器输入 主域名/robots.txt robots.txt的作用 robots.txt 文件规定了搜索引擎抓取工具可以访问网站上的哪些网址，并不禁止搜索引擎将某个网页纳入索引。如果想禁止索引（收录），可以用noindex，或者 阅读全文
posted @ 2023-02-14 17:52 GaoYanbing 阅读(1274) 评论(0) 推荐(0) 编辑