轻松爬取灰豚数据的抖音商品数据
轻松爬取灰豚数据的抖音商品数据#
调用两次登录接口实现模拟登录#
我们分析登录接口,发现调用了两次不同的接口;而且,需要先调用 https://login.huitun.com/weChat/userLogin
,然后再调用 https://dyapi.huitun.com/userLogin
接口。
登录成功之后,SESSION 在第二个接口的 Cookie 中返回。
headers = {}
json_data = {
'mobile': 'xxxx',
'password': 'xxxx',
}
response = requests.post('https://login.huitun.com/weChat/userLogin', headers=headers, json=json_data)
print(response.json())
# 输出的结果
# {'status': 200, 'code': 20001, 'message': '登录成功!', 'extData': 0}
cookies = {}
headers = {}
params = {
'htspm': '',
'shareid': '',
}
json_data = {
'mobile': 'xxxx',
'password': 'xxxx',
}
response = requests.post('https://dyapi.huitun.com/userLogin', params=params, cookies=cookies, headers=headers, json=json_data)
print(response.cookies.items())
# 输出的结果
# [('SESSION', 'NzAyNDQ4MjMtMGMyZS00OTBiLThiMWUtMTNmZWNkMjkxYThh')]
爬取商品数据#
cookies = {
'SESSION': 'YmIzODMwZjYtMTBmMC00NzViLTg3NDctNjQ2OGM5NDE1NzU4',
}
headers = {}
params = {
'_t': '1682146378787',
'cids': '10117',
}
response = requests.get('https://dyapi.huitun.com/search/user', params=params, cookies=cookies, headers=headers)
print(response.json())
返回的数据结果,这里只展示部分数据。
{
'code': 0,
'toRole': 3,
'data': [{
'authorId': 'dongfangzhenxuan',
'avatarUrl': 'https://p3.douyinpic.com/aweme/200x200/aweme-avatar/tos-cn-avt-0015_34583dc5dc55d5983f8a57fafcbceb6d.jpeg',
'awemeCount': 4146,
'awewe30Count': 0,
'category': '剧情',
'cid': '10139',
'city': '北京',
'collect': False,
'digg30IncCount': 0,
'enterpriseVerifyReason': '东方甄选(北京)科技有限公司',
'follower30IncCount': 0,
'followerCountTotal': 29853836,
'gender': '未知',
'htScore': 0.0,
'isFollow': False,
'isStar': False,
'isVerified': False,
'live': True,
'liveGmv30': 400000000,
'liveGmv30Str': '4亿+',
'mcn': False,
'monitor': False,
'nickname': '东方甄选',
'record': False,
'roomId': '7224668581445847845',
'score': 0.0,
'signature': '新东方集团、新东方在线唯一农产品直播带货平台\n客服电话:400-068-6666',
'totalFavorited': 142631625,
'uid': '2384194153219051',
'withFusionShopEntry': True
} ],
'roleId': 2,
'count': 5,
'sum': 3,
'message': '',
'nextRole': 0,
'path': '/search/user',
'total': 20,
'status': 200
}
小结#
- 灰豚数据的登录需要调用两次不同的登录接口,而且要注意先后顺序。
- 登录成功之后,需要从 Cookie 数据中提取出 SESSION。
- 将 SESSION 应用到其他数据接口,便可以爬取到数据了。
- 最后,声明本篇文章仅供学习参考,网络不是法外之地,切勿进行非法用途。
- 源代码 Github 地址:https://github.com/yxhsea/mock_login/tree/master/huitun
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
2017-04-30 Laravel框架的一些配置