【记一次失败的爬虫】爬取京东app中商品的评价列表

首先通过抓包，定位到了评价列表的接口

https://api.m.jd.com/client.action?functionId=getCommentListWithCard

参数如下图

 

参数蛮多的，但是我们要找到页码和条数的参数，查看了一番，body参数比较像，看看他的参数值，通过app中多次操作评价列表，观察参数值的变化，定位到offset和num，表示页码和每页的条数，其他的我也看不懂，那事实是如此简单吗？

{"offset":"2","category":"1315;1345;1364","isCurrentSku":false,"pictureCommentType":"A","sku":"32227619225","shadowMainSku":"0","type":"0","num":"10"}

我通过charles不断的删减参数来调用，想确认所有的必填值，删到st、sv时，接口报错了，突然觉得key值越短的参数，意义就越重大。

 

根据报错信息，很明显这个参数值和加签有关，并且和页面做了关联，甚至每次调用时都是重新生成的，最后发现每次都动态变化的参数有sign、st、sv、offset这四个参数。

那我们就没辙了吗？

是的没辙了，目前的我无法猜出加签的算法。

 

或者眼光转上pc端的

try1try