摘要:
- ![](https://cdn.jsdelivr.net/gh/Liu8Can/pic-storage@image/image/202408211919249.png) - ![image.png](https://cdn.jsdelivr.net/gh/Liu8Can/pic-storage@image/image/202408211922305.png) - ![image.png](ht 阅读全文
摘要:
1.1 介绍 robots.txt文件是一种用于指导搜索引擎爬虫在网站上哪些页面可以被抓取,哪些页面不应该被抓取的文本文件。这个文件通常放置在网站的根目录下。 1.2 由来 robots.txt标准最早出自1994年,由荷兰的网络管理员和搜索引擎专家Martijn Koster编写。最初称为"Rob 阅读全文