2014年2月20日

[转载]C#.NET中Dns类的常用方法及说明

摘要： IP是一种普遍应用于因特网、允许不同主机能够相互找到对方的寻址协议。IP地址由4个十进制的数字号码所组成，而每一个号码的值介于0~255之间，它虽然解决了网络上计算机的识别问题，但是IP地址确不容易记，因此域名系统（DNS）被开发出来，它专门用于将IP地址转换成有意义的文字，以方便识别记忆。 .Net FrameWork类库内置了相关类用于处理IP地址的问题，这些类在System.Net命名空间下。这里主要对DNS类进行详细介绍。DNS类中的常用方法及说明如表所示。 表　DNS类的常用方法及说明名称说明BeginGetHostAddresses异步返回指定主机的Internet 协议 (I.. 阅读全文

posted @ 2014-02-20 23:42 iackjee 阅读(1468) 评论(0) 推荐(0) 编辑

[转载]如何辨别真假百度蜘蛛

摘要： 当网站抓取异常时，非常有可能是假蜘蛛在作怪。 那么如何辨别真假蜘蛛辨别：Baiduspider ip的hostname以 *.baidu.com的格式命名，非 *.baidu.com即为冒充，建议使用DNS反查方式来确定抓取来源的ip是否属于百度。 在windows平台下，可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”有名称为：220.181.108.105这样的以名称中带有baiduspide,和crawl.baidu.com是属于百度自己服务器的蜘蛛，除此之外，都属... 阅读全文

posted @ 2014-02-20 23:40 iackjee 阅读(279) 评论(0) 推荐(0) 编辑

[转载]识别真假搜索引擎（搜索蜘蛛）方法

摘要： 怎么样识别搜索蜘蛛搜索引擎基本上由最先google,和国内的baidu统一了。刚开始比较混乱，后期有很多规则协议，可以遵循。基本上一些新兴的搜索引擎在访问站点时候，都会延用google制定的一些规则。它们一般都会有特定的user-agent，但是，如果我们只通过user-agent去识别搜索蜘蛛的话，那样第三方抓取程序，都会去伪造个user-agent。变成搜索蜘蛛的，如：Googlebot/2.1 (+http://www.googlebot.com/bot.html)是，google蜘蛛的值。现在一般搜索引擎都提供一个DNS 反向IP查询功能，只需要把访问来的IP 通过反向查询域名，看是不 阅读全文

posted @ 2014-02-20 22:48 iackjee 阅读(850) 评论(0) 推荐(0) 编辑

各大搜索引擎的User-Agent

摘要： baidu：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) Google：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Sogou：Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)Yahoo：Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http: 阅读全文

posted @ 2014-02-20 12:14 iackjee 阅读(2863) 评论(0) 推荐(0) 编辑

导航