Python 爬虫知识点 - 淘宝商品检索结果抓包分析

一、抓包基础

  在淘宝上搜索“Python机器学习”之后,试图抓取书名、作者、图片、价格、地址、出版社、书店等信息,查看源码发现html-body中没有这些信息,分析脚本发现,数据存储在了g_page_config变量之中,初步分析需要采用抓包技术来获取其他页的数据。以前使用Fiddler非常方便,今天出奇的怪,总是挂掉。经度娘得知还有WireShark神器,可安装后发现太过底层。最后使用浏览器自带的开发者工具,先前仅用到了调试前端页面。如下图:

 数据存储区域:

 

开发者工具抓包界面:

 

、抓包分析

   1、在搜索结果页,切换页,跟踪页面元素的加载时间,如果时长最长,则有可能是获取数据的链接,连续切换两页之后,发现search地址数据量最大,加载时间最长,初步判断此处有可能是后台获取数据的请求地址。

  2、点击链接后出现几个选项卡,有助于分析返回的数据,如下图:

  3、点击Response,搜索某书店名称,发现确实能搜索到该书店,则可以确认,通过构建此地址,应该是能够获得查询结果数据。

  4、连续切换页码,得到连续的Url,将这些Url拷贝到文件中加以分析。S有可能是当前页显示的数量,data-value表示在上一页的基础之上,增加S个,如44+44=88,88+44=132,132+44=176,基于上述规则构建的URL,在浏览器中查询测试。

 

  未完待续......

 

posted @   咸鱼翻身  阅读(2453)  评论(0编辑  收藏  举报
编辑推荐:
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
阅读排行:
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· 单线程的Redis速度为什么快?
· 展开说说关于C#中ORM框架的用法!
· Pantheons:用 TypeScript 打造主流大模型对话的一站式集成库
点击右上角即可分享
微信分享提示