别@我了,我就一个写代码的,我哪知道哪家是不正规的,Python爬取美团店铺数据,并可视化展示数据
前言
今天教的是爬取每天按摩店的数据,不爬不知道呀,光是一个城市的前10页数据,都有1000多家店了,全部爬完,那不得至少3000家以上?现在的市场需求都那么大看吗

今天不光教代码,还要带你们去逛逛。。就只是逛逛,我也没去过,就是好奇,才看看的

御见。。夜色。。保健,一看名字就知道是家服务到位的按摩店了

代码主要内容
- 动态数据抓包
- json数据解析
- requests模块的使用
- 保存csv
环境介绍
python 3.8 解释器
pycharm 编辑器
开始代码,先导包
import requests # 数据请求模块 第三方模块 pip install requests import pprint # 格式化输出模块 import csv # 保存csv模块
发送请求
url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70' # 因为它是字典数据类型 data = { 'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0', 'userid': '266252179', 'limit': '32', 'offset': 32, 'cateId': '-1', 'q': '按摩', } headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36' } response = requests.get(url=url, params=data, headers=headers) # 发送请求
加上请求头 作用: 伪装
User-Agent:表示浏览器基本信息
Cookie: 用户信息, 常用于检测是否有登陆账号
Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的
如果<Response [403]>:返回的response对象 403 状态码,表示你没有访问权限
200 表示请求成功
解析数据, 提取我们想要的一些数据内容 (店铺信息)
searchResult = response.json()['data']['searchResult'] # for 遍历 提取列表中的每一个元素内容 for index in searchResult: # pprint.pprint(index) href = f'https://www.meituan.com/xiuxianyule/{index["id"]}/' dit = { '店铺名字': index['title'], '店铺类型': index['backCateName'], '店铺商圈': index['areaname'], '店铺评分': index['avgscore'], '店铺评论量': index['comments'], '人均消费': index['avgprice'], '维度': index['latitude'], '经度': index['longitude'], '详情页': href, } csv_writer.writerow(dit) print(dit)
翻页爬取
for page in range(0, 3201, 32): url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70' data = { 'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0', 'userid': '266252179', 'limit': '32', 'offset': page, 'cateId': '-1', 'q': '按摩', }

这个是第二页和第三页的数据内容,每次翻页offset + 32
最后是保存数据
f = open('美团按摩店top2.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '店铺名字', '店铺类型', '店铺商圈', '店铺评分', '店铺评论量', '人均消费', '维度', '经度', '详情页', ]) csv_writer.writeheader() # 写入表头
运行代码,得到数据

可视化图表
导入数据
import pandas as pd import numpy as np from pyecharts.charts import * from pyecharts import options as opts from pyecharts.globals import ThemeType #引入主题 df = pd.read_csv('美团按摩店top2.csv',encoding='utf-8',engine="python") df.sample(5)
不同评分类型店铺数量
df4 = df.groupby('店铺评分')['店铺名字'].count() df4 = df4.sort_values(ascending=False) regions = df4.index.tolist() values = df4.tolist() c = ( Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)) .add("", [z for z in zip(regions,values)]) .set_global_opts(title_opts=opts.TitleOpts(title="不同评分类型店铺数量",subtitle="数据来源:美团",pos_top="-1%",pos_left = 'center')) .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18)) ) c.render_notebook()

不同店铺类型店铺数量
df6 = df.groupby('店铺类型')['店铺名字'].count() df6 = df6.sort_values(ascending=False)[:10] df6 = df6.round(2) regions = df6.index.tolist() values = df6.tolist() c = ( Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)) .add("", [i for i in zip(regions,values)],radius=["40%", "75%"]) .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型店铺数量",pos_top="-1%",pos_left = 'center')) .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}",font_size=18)) ) c.render_notebook()

前10页的店铺,按摩/足浴店有1016家,评分5分的有714家

【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 我与微信审核的“相爱相杀”看个人小程序副业
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~