Python 爬虫知识点 - 淘宝商品检索结果抓包分析(续一)

通过前一节得出地址可能的构建规律,如下:

https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_ksTS=1481814489094_902&callback=jsonp903&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=3&ntoffset=0&p4ppushleft=1%2C48

https://s.taobao.com/search?data-key=s&data-value=88&ajax=true&_ksTS=1481814530312_1045&callback=jsonp1046&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=0&ntoffset=6&p4ppushleft=1%2C48&s=44

https://s.taobao.com/search?data-key=s&data-value=132&ajax=true&_ksTS=1481816198100_1326&callback=jsonp1327&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-3&ntoffset=3&p4ppushleft=1%2C48&s=88

https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481816618010_1533&callback=jsonp1534&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=0&p4ppushleft=1%2C48&s=132


https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132

https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132

https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132


https://s.taobao.com/search?data-key=s&data-value=220&ajax=true&_ksTS=1481816618010_1533&callback=jsonp1534&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=176


https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220

https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220

 

但是从浏览器者开发工具中,拷贝出来的URL,放在浏览器中,刷新后,同样的URL,而结果确实变化的,为什么???同时打开两次,返回的数据是变化的?初步判断可能是后台搜索服务器中对于bcoffset=-9&ntoffset=-3&p4ppushleft=1等参数做了偏移处理,这是不是由于后台搜索机制引起的了???

URL是:https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220

 

 

 

 

 更为紧张的事情,本来关键词是Python机器学习,结果搜索的结果是:全套2本2016秋期末冲刺100分二年级上完全试卷 二年级上 数学语文2年级全2本2年级上册人教版RJ小学生同步练习卷期中期末测试卷搭,正版【全2册】C程序设计语言//计算机科学丛书(第2版新版) 第二版 教材+习题详解 媲美谭浩强 the c programming language 克尼汉等。为什么会是这样的结果了?

 

 

 

可能解释的结果是:淘宝禁止爬取通过搜索框输入返回的结果列表???对参数做了特殊处理???有谁知道这样的规律了?仅仅是为了学习抓包分析和爬虫技术,不做他用。

 

posted @   咸鱼翻身  阅读(3105)  评论(2编辑  收藏  举报
编辑推荐:
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
阅读排行:
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· 单线程的Redis速度为什么快?
· 展开说说关于C#中ORM框架的用法!
· Pantheons:用 TypeScript 打造主流大模型对话的一站式集成库
点击右上角即可分享
微信分享提示