2024年8月29日
黑神话悟空-前所未有的团结
摘要： - ![](https://cdn.jsdelivr.net/gh/Liu8Can/pic-storage@image/image/202408211919249.png) - ![image.png](https://cdn.jsdelivr.net/gh/Liu8Can/pic-storage@image/image/202408211922305.png) - ![image.png](ht 阅读全文
posted @ 2024-08-29 22:43 ScopeAstro 阅读(5) 评论(0) 推荐(0) 编辑
学习笔记：robots.txt文件
摘要： 1.1 介绍 robots.txt文件是一种用于指导搜索引擎爬虫在网站上哪些页面可以被抓取，哪些页面不应该被抓取的文本文件。这个文件通常放置在网站的根目录下。 1.2 由来 robots.txt标准最早出自1994年，由荷兰的网络管理员和搜索引擎专家Martijn Koster编写。最初称为"Rob 阅读全文
posted @ 2024-08-29 22:42 ScopeAstro 阅读(9) 评论(0) 推荐(0) 编辑