Python 爬虫知识点 - 淘宝商品检索结果抓包分析
一、抓包基础
在淘宝上搜索“Python机器学习”之后,试图抓取书名、作者、图片、价格、地址、出版社、书店等信息,查看源码发现html-body中没有这些信息,分析脚本发现,数据存储在了g_page_config变量之中,初步分析需要采用抓包技术来获取其他页的数据。以前使用Fiddler非常方便,今天出奇的怪,总是挂掉。经度娘得知还有WireShark神器,可安装后发现太过底层。最后使用浏览器自带的开发者工具,先前仅用到了调试前端页面。如下图:
数据存储区域:
开发者工具抓包界面:
二、抓包分析
1、在搜索结果页,切换页,跟踪页面元素的加载时间,如果时长最长,则有可能是获取数据的链接,连续切换两页之后,发现search地址数据量最大,加载时间最长,初步判断此处有可能是后台获取数据的请求地址。
2、点击链接后出现几个选项卡,有助于分析返回的数据,如下图:
3、点击Response,搜索某书店名称,发现确实能搜索到该书店,则可以确认,通过构建此地址,应该是能够获得查询结果数据。
4、连续切换页码,得到连续的Url,将这些Url拷贝到文件中加以分析。S有可能是当前页显示的数量,data-value表示在上一页的基础之上,增加S个,如44+44=88,88+44=132,132+44=176,基于上述规则构建的URL,在浏览器中查询测试。
未完待续......
博客地址: http://www.cnblogs.com/defineconst/
博客版权: 本文以学习、研究和分享为主,欢迎转载和各类爬虫,但必须在文章页面明显位置给出原文链接。 如果文中有不妥或者错误的地方还望高手的您指出,以免误人子弟。如果您有更好的建议,不如留言一起讨论,共同进步! 再次感谢您耐心的读完本篇文章。
博客版权: 本文以学习、研究和分享为主,欢迎转载和各类爬虫,但必须在文章页面明显位置给出原文链接。 如果文中有不妥或者错误的地方还望高手的您指出,以免误人子弟。如果您有更好的建议,不如留言一起讨论,共同进步! 再次感谢您耐心的读完本篇文章。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· 单线程的Redis速度为什么快?
· 展开说说关于C#中ORM框架的用法!
· Pantheons:用 TypeScript 打造主流大模型对话的一站式集成库