.NET程序屏蔽一些无效蜘蛛的访问配置 

1  <rule name="Block spider">
2           <match url="(^robots.txt$)" ignoreCase="false" negate="true" />
3           <conditions>
4             <add input="{HTTP_USER_AGENT}" pattern="Apache-HttpClient|SemrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms| EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot| Jorgee|SWEBot|spbot|TurnitinBot-Agent|curl|perl|Python|Wget|Xenu|ZmEu|facebookexternalhit"   ignoreCase="true" />
5           </conditions>
6           <action type="AbortRequest" />
7       </rule>

记录一下，简单测试可用

posted @   uxinxin  阅读(12)  评论(0)  编辑  收藏  举报
相关博文：
·  学习使用Taurus的微服务群在.NET Framework4.8环境下的搭建
·  asp.net 动态加载与卸载程序集的尝试（没有成功）欢迎解决的朋友留言告知
·  利用nginx来屏蔽网页爬虫
·  SemrushBot robot是什么蜘蛛？怎么屏蔽垃圾蜘蛛爬虫，屏蔽ip段？
·  网站seo优化站长工具提交常见搜索引擎蜘蛛和垃圾蜘蛛屏蔽robots.txt文件示例一篇文章就够了！
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾（3.3-3.9）
· winform 绘制太阳，地球，月球 运作规律
点击右上角即可分享
微信分享提示
AI IDE Trae