Indy 组件学习注意事项
Indy 组件学习注意事项 By Shaoyun 2010年3月21日
这一段时间想做做采集这一块,很久没动,都忘记Indy怎么使用了,拿出来重新学习一下!倒是发现一些问题!看例子:
1 idhtp1.Request.UserAgent:= 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)';
2 idhtp1.HandleRedirects:=True;
3 content:=idhtp1.Get(edt1.Text);
4 mmo1.Text:=content;
2 idhtp1.HandleRedirects:=True;
3 content:=idhtp1.Get(edt1.Text);
4 mmo1.Text:=content;
上面的代码是请求一个网址,然后将获取的页面内容显示到文本组件中,当然这段代码没有问题!如果注释掉idhtp1.Request.UserAgent这行,再来试一下,输入163的网址,OK成功获取到了返回的信息,再尝试输入百度的网址,出现
Connection closed Gracefully 这样的错误,再试试别的网址,没问题,怎么回事!经过网上的一番搜索,发现是百度做了过滤。
Indy发送的UserAgent信息一般是这样的"Mozilla/3.0 (compatible; Indy
Library)",百度会过滤这样的请求,以防止无效的请求,屏蔽垃圾流量和恶意攻击。经过我的测试,具体规则是,如果出现“(Indy
Library)",括号中带 Indy Library 表示,就会过滤,区分大小写,所以只要修改UserAgent信息就可以避免出现这种问题。
idhtp1.HandleRedirects:=True;
这段代码也是必须的,让组件自己处理转向。如果试着尝试向g.cn谷歌这个网址发送请求就会发现,会出现301或302错误,这两个错误是关于页面转向的。
这段代码也是必须的,让组件自己处理转向。如果试着尝试向g.cn谷歌这个网址发送请求就会发现,会出现301或302错误,这两个错误是关于页面转向的。
这里解决了两个问题:
1. 部分站点检测 Indy的默认UserAgent,过滤请求导致程序出错的问题。
2. 让IDHTTP组件自己处理转向,避免服务器转向,而获取信息失败的问题。
代码测试环境:Windows XP SP3 + Delphi 2010
先到这里!本文完!