【记一次失败的爬虫】爬取京东app中商品的评价列表
首先通过抓包,定位到了评价列表的接口
https://api.m.jd.com/client.action?functionId=getCommentListWithCard
参数如下图
参数蛮多的,但是我们要找到页码和条数的参数,查看了一番,body参数比较像,看看他的参数值,通过app中多次操作评价列表,观察参数值的变化,定位到offset和num,表示页码和每页的条数,其他的我也看不懂,那事实是如此简单吗?
{"offset":"2","category":"1315;1345;1364","isCurrentSku":false,"pictureCommentType":"A","sku":"32227619225","shadowMainSku":"0","type":"0","num":"10"}
我通过charles不断的删减参数来调用,想确认所有的必填值,删到st、sv时,接口报错了,突然觉得key值越短的参数,意义就越重大。
根据报错信息,很明显这个参数值和加签有关,并且和页面做了关联,甚至每次调用时都是重新生成的,最后发现每次都动态变化的参数有sign、st、sv、offset这四个参数。
那我们就没辙了吗?
是的没辙了,目前的我无法猜出加签的算法。
或者眼光转上pc端的
try1try