Indy 组件学习注意事项

Indy 组件学习注意事项 By Shaoyun  2010年3月21日
 
    这一段时间想做做采集这一块,很久没动,都忘记Indy怎么使用了,拿出来重新学习一下!倒是发现一些问题!看例子: 
1 idhtp1.Request.UserAgent:= 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)';
2 idhtp1.HandleRedirects:=True;
3 content:=idhtp1.Get(edt1.Text);
4 mmo1.Text:=content;
    上面的代码是请求一个网址,然后将获取的页面内容显示到文本组件中,当然这段代码没有问题!如果注释掉idhtp1.Request.UserAgent这行,再来试一下,输入163的网址,OK成功获取到了返回的信息,再尝试输入百度的网址,出现 Connection closed Gracefully 这样的错误,再试试别的网址,没问题,怎么回事!经过网上的一番搜索,发现是百度做了过滤。
 
    Indy发送的UserAgent信息一般是这样的"Mozilla/3.0 (compatible; Indy Library)",百度会过滤这样的请求,以防止无效的请求,屏蔽垃圾流量和恶意攻击。经过我的测试,具体规则是,如果出现“(Indy Library)",括号中带 Indy Library 表示,就会过滤,区分大小写,所以只要修改UserAgent信息就可以避免出现这种问题。
    idhtp1.HandleRedirects:=True;
    这段代码也是必须的,让组件自己处理转向。如果试着尝试向g.cn谷歌这个网址发送请求就会发现,会出现301或302错误,这两个错误是关于页面转向的。
 
    这里解决了两个问题:
    1. 部分站点检测 Indy的默认UserAgent,过滤请求导致程序出错的问题。
    2. 让IDHTTP组件自己处理转向,避免服务器转向,而获取信息失败的问题。 

代码测试环境:Windows XP SP3 + Delphi 2010

    先到这里!本文完!
posted @ 2010-03-21 22:58  shaoyun  阅读(784)  评论(0编辑  收藏  举报