php curl抓取商城,规则分析

作者用的是火狐的firebug 分析

 

1,通过分类url查看.对比不同.,把所有的分类列id搜集

 

2进入到对应类列表页,查看url 的规则和所需要的参数(get或者post)

商品列表要往下来,才加载新的产品,通过firebug查看,是一个ajax post请求的

 

第一次进入

 

http://apiv4.yangkeduo.com/operation/96/groups?opt_type=2&offset=0&size=100&sort_type=DEFAULT&pdduid=0

 

ajax.post

http://apiv4.yangkeduo.com/operation/96/groups?opt_type=2&offset=100&size=100&sort_type=DEFAULT&pdduid=0

 

 

通过比对

http://apiv4.yangkeduo.com/operation/96/groups?opt_type=2&offset=0&size=100&sort_type=DEFAULT&pdduid=0

http://apiv4.yangkeduo.com/operation/96/groups?opt_type=2&offset=100&size=100&sort_type=DEFAULT&pdduid=0

得出对方,请求商品就是以上地址

offset=100&size=100的修改