周五了,发给大家个好玩的东西
今天在检查iis日志的时候发觉这个爬虫抓取我的博客频道的频率一天竟然高达 1000次!所以搜索了它,发觉了这么好玩的一个东西。
他是一群来自西雅图的人试图如何让互联网的数据更加公开。他们提供了互联网的一个索引(可以BT下载),重达3.2G,非压缩版14G,如果你正要准备做一个垃圾引擎,可以尝试下载下来用用。当然你也可以屏蔽这个搜索引擎,
User-agent: dotbot
Disallow: /
你还可以看到他对互联网的总体http状态统计,75%是200,404,403占8%。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· [AI/GPT/综述] AI Agent的设计模式综述