Indy 组件学习注意事项

Indy 组件学习注意事项 By Shaoyun  2010年3月21日

 

    这一段时间想做做采集这一块，很久没动，都忘记Indy怎么使用了，拿出来重新学习一下！倒是发现一些问题！看例子： 

 idhtp1.Request.UserAgent:= 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)';
2 idhtp1.HandleRedirects:=True;
3 content:=idhtp1.Get(edt1.Text);
4 mmo1.Text:=content;

    上面的代码是请求一个网址，然后将获取的页面内容显示到文本组件中，当然这段代码没有问题！如果注释掉idhtp1.Request.UserAgent这行，再来试一下，输入163的网址，OK成功获取到了返回的信息，再尝试输入百度的网址，出现 Connection closed Gracefully 这样的错误，再试试别的网址，没问题，怎么回事！经过网上的一番搜索，发现是百度做了过滤。

 

    Indy发送的UserAgent信息一般是这样的"Mozilla/3.0 (compatible; Indy Library)"，百度会过滤这样的请求，以防止无效的请求，屏蔽垃圾流量和恶意攻击。经过我的测试，具体规则是，如果出现“(Indy Library)"，括号中带 Indy Library 表示，就会过滤，区分大小写，所以只要修改UserAgent信息就可以避免出现这种问题。

    idhtp1.HandleRedirects:=True;
    这段代码也是必须的，让组件自己处理转向。如果试着尝试向g.cn谷歌这个网址发送请求就会发现，会出现301或302错误，这两个错误是关于页面转向的。

 

    这里解决了两个问题：

    1. 部分站点检测 Indy的默认UserAgent，过滤请求导致程序出错的问题。

    2. 让IDHTTP组件自己处理转向，避免服务器转向，而获取信息失败的问题。 

代码测试环境：Windows XP SP3 + Delphi 2010

    先到这里！本文完！