爬取网易严选某种衣服商品数据,实现可视化,结论有点吓人
关注公众号:Python爬虫数据分析挖掘,回复【开源源码】免费获取更多开源项目源码
爬取数据
首先,我们在网易严选的搜索框输入关键词“男士内裤”,页面搜索出来男士内裤的产品列表界面:
搜索结果
我们点开第一个商品,点击“评论”,就可以看到如下信息:
我们分析请求列表,就可以很容易地发现评论数据是通过 https://you.163.com/xhr/comment/listByItemByTag.json 这个请求来获取的。然后我们过滤请求参数,去掉不是必传的参数,最终发现 itemId 和 page 两个参数是必须的。
itemId 是指商品的ID,page 就是指的请求的页码,默认每页记录数是40。所以我们要获取评论数据的前提是获取到对应的商品ID。
我们是从搜索页面点击产品进入商品详情页的,所以搜索页面的商品列表里面肯定存在每一个商品的商品ID,我们回到搜索产品列表页,寻找搜索商品的请求:
商品列表
同样的,我们在搜索界面的请求分析中,找到了 http://you.163.com/xhr/search/search.json 这个请求,逐个分析请求参数后发现,我们只需要 keyword 和 page 两个参数即可。
请求分析完成后,我们就可以来码代码了。代码如下:
# 获取商品列表 def search_keyword(keyword): uri = 'https://you.163.com/xhr/search/search.json' query = { "keyword": keyword, "page": 1 } try: res = requests.get(uri, params=query).json() result = res['data']['directly']['searcherResult']['result'] product_id = [] for r in result: product_id.append(r['id']) return product_id except: raise # 获取评论 def details(product_id): url = 'https://you.163.com/xhr/comment/listByItemByTag.json' try: C_list = [] for i in range(1, 100): query = { "itemId": product_id, "page": i, } res = requests.get(url, params=query).json() if not res['data']['commentList']: break print("爬取第 %s 页评论" % i) commentList = res['data']['commentList'] C_list.extend(commentList) time.sleep(1) return C_list except: raise product_id = search_keyword('男士内裤') r_list = [] for p in product_id: r_list.extend(details(p)) with open('./briefs.txt', 'w') as f: for r in r_list: try: f.write(json.dumps(r, ensure_ascii=False) + '\n') except: print('出错啦')
为了简单起见,我抓取了首页的40件商品的评论数,将结果保存在 briefs.txt 文件中。文件数据的预览如下:
存储数据
分析数据
抓取完数据后,我们就可以进入探索环节了,我想从颜色、尺码、评论三个角度分析数据,看看男士们内裤的一些“特点”。
我们来看看数据结构的特点:
{ "skuInfo": [ "颜色:黑色", "尺码:M" ], "frontUserName": "S****、", "frontUserAvatar": "https://yanxuan.nosdn.127.net/0da37937c896cac1955bda8522d5754f.jpg", "content": "非常好", "createTime": 1592965119969, "picList": [], "commentReplyVO": null, "memberLevel": 5, "appendCommentVO": null, "star": 5, "itemId": 3544005 }
仔细观察这条评论数据,我们可以看到颜色和尺码都放在 skuInfo 这个数组里面,评论是放在 content 字段里面。同时,我们多翻一些数据就可以发现,颜色有好几种格式:
- 单条装的颜色,例如:颜色:浅麻灰
- 多条装的颜色,例如:颜色:(黑色+麻灰+浅麻灰)3条
- 自选多条的颜色,例如:颜色:黑色+藏青色
- 其他,例如:规格:5条装
这里,最后一种无法分辨出颜色,我准备过滤掉。其他几种,去除掉干扰,通过“+”就可以拆分出颜色来。
而尺码数据格式是统一的,可以直接获取。
我将颜色和尺码都做成柱状图来展示,而评论就用词云来展示。最终的效果图如下:
颜色分布
颜色并没有出乎我的意料,黑色遥遥领先,不过,如果把几种灰色加起来的话,可能超过了黑色。总之,黑色和灰色是大众的选择。
尺寸分布
尺寸嘛,前三名是XL、L和XXL,不过XL和L相差不大。