大数据分析——超市销售数据分析

大数据分析——超市销售数据分析

（一）选题背景

随着我国经济高速发展，人们生活水平的提高，超市在社会中的普及范围越来越广, 极大的方便了人们的生活和工作的同时快速的促进了我国社会经济的发展，尤其是近年来的各类大型超市在城市中所占的比例越来越高，其中不乏国处的一些大型超市企业入驻我国, 但正因为国内外超市在我国所占的比例和数量在丕断的增加，导致目前我国超市行业的竞争程度具益激烈, 顾客在各个超市的选择上有了比较对比，顾客有了更多的选择，导致各个超市的利润空间在不断的压缩，为了解决在如此激烈的社会竞争环境下获得更好的发展，需求新的突破问题，目前超市的运营模式从货物的采购到运输、管理、营销、服务等方面进行了创新和完善，期望从中数据方面发现一些关联规则，利用这些关联规则来提高超市的销量，为此本文就主要对数据中的关联规则算法进行分析，建立起关联规则算法模型，再结合实例进一步的数据挖掘对于超市的作用。

（二）数据学习案例设计方案

从网站中下载相关的数据集，对数据集进行整理，在python的环境中，给数据集中的文件打上标签，对数据进行预处理，利用keras。

该数据集记录了某全球超市三个月的销售数据，通过分析该超市四三个月内的销售数据，从角度出发，分析经营现状，发掘提高销量的销售策略，利用数据找到新的增长点，并提出建议。

数据集来源：https://www.kaggle.com/datasets/jack20216915/shop-1

Customer type 顾客 类型
Quantity 数量
Gender 性别
Product line 产品线
Unit price 单价
Total 总价
Payment 付款
gross income 总收入

（三）数据分析步骤

1 数据源

数据集从国外 Kaggle 数据集网站进行采集。

这个超市数据集是一个数据集合，它提供了超市中发生的交易的信息。该数据集通常包括交易的日期和时间、购买的产品、每种产品的价格、交易花费的总额以及其他相关细节等信息。

我们将使用该数据集进行数据分析，并深入了解超市客户的行为。例如，我们可以使用这个超市数据集来研究一周中的某一天与交易支出总额之间的关系，或者分析影响客户支出模式的因素。我们还可以使用此数据集来确定客户行为的趋势和模式，优化定价和产品投放，或制定营销和广告策略。

总的来说，这个超市数据集可以成为一个有价值的工具，用于了解和预测超市客户的行为，以及做出数据驱动的决策，从而提高超市业务的绩效。

2 导入数据

 

 

 

3 Pandas数据处理

pandas 是一个快速、强大、灵活且易于使用的开源数据分析和操作工具，构建在 Python 编程语言之上，其提供了快速、灵活和富有表达性的数据结构，旨在使得处理关系型或有标签的数据变得简单直观。它旨在成为在 Python 中进行实际的、真实的数据分析的基本高级构建块。此外，它还有更广泛的目标，即成为任何语言中最强大、最灵活的开源数据分析/操作工具。它已经在朝着这个目标迈进

 

 

 

 

4数据可视化

4.1 每个客户类型和性别的平均消费总额是多少?

 

 

 

 

 

 

4.2 性别和产品线组合的总销售额是多少?

 

 

 

 

4.3 每个产品线的平均单价是多少？

 

 

 

4.4 总毛利率百分比是多少？

 

 

 

0.047 的毛利率意味着，在计入 COGS 后，总收入中只剩下百分之 4.76。这表明超市的盈利水平很低。为了提高盈利能力，企业可以尝试降低 COGS 或增加收入。

 

4.5 哪些产品线最受客户欢迎？

 

 

 

4.6 每种产品的单价和数量之间的关系是什么？

 

 

 

 

4.7 超市里最流行的产品线是什么

 

 

 

 

 

5 大数据分析

5.1 聚类分析

将机器学习算法应用于数据集。例如，可以使用聚类算法，根据客户的支出模式和偏好将其划分为不同的细分市场。这可以帮助我们了解不同类型的客户，并相应地调整营销和销售策略。

将使用 K-Means 聚类算法

该代码首先通过对分类列应用一个热编码对数据进行预处理，然后使用 K-Means 算法将客户分成三个部分。最后，它计算每个部门花费的平均总额。然后，我们可以分析每个细分市场的特点，并相应地制定营销和销售策略。

 

6 总体体会

根据对超市数据集的分析，总结以下重点:

提高平均单价和毛利率百分比，以实现利润最大化。

推广销售数量高的某些产品线也可以增加收入。

通过针对特定城市和客户类型，可以增加交易数量。

通过将其他属性合并到数据集中，可以进一步提高预测的准确性。这对于做出明智的业务决策和有效分配资源非常有用。

附 录

附录1：超市销售数据分析代码程序

# 导入模块
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
# 读取数据集
df = pd.read_csv("supermarket_sales - Sheet1.csv")
df.head()
# 检查缺失值
missing_values = df.isnull().sum()

missing_values
# 数据集信息
df.dtypes
# 查看数据集列
df.columns
# 快速统计汇总
df.describe()
# 按客户类型对数据进行分组，并计算每种类型的平均花费总额
df_customer_type = df.groupby('Customer type')['Total'].mean()
print(df_customer_type)

df_customer_type.plot(kind='bar', title = 'Average Total Amount Spent By Customer type ')
df_genderr = df.groupby('Gender')['Total'].mean()
print(df_genderr)


df_genderr.plot(kind='bar', title = 'Average Total Amount Spent By Gender')
# 想象一下性别、产品线与总体
plt.figure(figsize=(11,6))
sns.barplot(x='Product line', y = 'Total', hue = 'Gender', data = df, estimator = sum, ci = None)
# 按性别和产品线对数据进行分组，并计算每组的总销售额
df_gender_product_line = df.groupby(['Gender', 'Product line'])['Total'].sum()
print(df_gender_product_line)

df_gender_product_line.plot(kind='bar', title = 'Total Sales for each Group of Gender and Product Line')
# 计算每个产品线的平均单价
df_product_line_price = df.groupby('Product line')['Unit price'].mean()
print(df_product_line_price)

df_product_line_price.plot(kind='bar', title = 'Average Unit Price For Each Product Line')
# 计算总毛利率百分比
df['gross_margin'] = (df['Total'] - df['cogs']) / df['Total']
overall_gross_margin = df['gross_margin'].mean()

print(overall_gross_margin)
import matplotlib.pyplot as plt


df_city_sales = df.groupby('City')['Total'].sum()


df_city_sales.plot(kind='bar')


plt.title('Total Sales by City')
plt.xlabel('City')
plt.ylabel('Total Sales')


plt.show()
# 创建饼图以可视化不同产品线的销售分布
df.groupby('Product line')['Total'].sum().plot(kind='pie')

plt.title('Sales by Product Line')

plt.show()
# 创建散点图以可视化单价和数量之间的关系
plt.scatter(df['Unit price'], df['Quantity'])

plt.title('Unit Price vs Quantity')
plt.xlabel('Unit Price')
plt.ylabel('Quantity')


plt.show()

df[["Unit price", "Quantity"]].corr()
# 创建一个直方图，以可视化客户评级的分布
df['Rating'].plot(kind='hist')

plt.title('Distribution of Customer Ratings')
plt.xlabel('Rating')
plt.ylabel('Number of Customers')

plt.show()
bins = np.linspace(min(df["Rating"]), max(df["Rating"]), 4)

group_names = ['Low', 'Medium', 'High'] 

df['rating-binned'] = pd.cut(df['Rating'], bins, labels=group_names, include_lowest=True )
df[['Rating','rating-binned']].head(20)
# 看看每个容器中的评级数量
df["rating-binned"].value_counts()
# 绘制每个垃圾箱的分布
import matplotlib.pyplot as plt
plt.bar(group_names, df["rating-binned"].value_counts())

plt.xlabel("Rating")
plt.ylabel("count")
plt.title("Distribution of Customer Rating bins")
# 创建方框图，以可视化不同分支机构的毛利率百分比分布
import matplotlib.pyplot as plt


df_branch_margin = df.groupby('Branch')['gross margin percentage'].mean()


df_branch_margin.plot(kind='box')

plt.title('Gross Margin Percentage by Branch')
plt.xlabel('Branch')
plt.ylabel('Gross Margin Percentage')


plt.show()
# 按产品线分组数据，并计算每个产品线的总销售额
product_line_sales = df.groupby('Product line')['Total'].sum()


product_line_sales = product_line_sales.sort_values(ascending=False)

print('Most popular product lines:')
print(product_line_sales.head(10))

product_line_sales.head(10).plot(kind='bar', title = 'Most Popular Product Lines')
# 按产品线分组数据，并计算每个产品线的总收入
product_line_income = df.groupby('Product line')['gross income'].sum()

product_line_income = product_line_income.sort_values(ascending=False)

print('Most profitable product lines:')
print(product_line_income.head(10))

product_line_income.head(10).plot(kind='bar', title = 'Most Profitable Product Lines')
# 按付款方式对数据进行分组，并计算每种付款方式的总销售额
payment_method_sales = df.groupby('Payment')['Total'].sum()

payment_method_sales = payment_method_sales.sort_values(ascending=False)

print('Most popular payment methods:')
print(payment_method_sales.head(10))

payment_method_sales.head(10).plot(kind='bar', title = 'Most Popular Payment Methods')
# 按付款方式分列的每个性别的总销售额
plt.figure(figsize = (11,6))
sns.barplot(x = 'Payment', y = 'Total', hue = 'Gender', data = df, ci = None, estimator = sum)
# 按付款方式列出的每种客户类型的总销售额
plt.figure(figsize = (11,6))
sns.barplot(x = 'Payment', y = 'Total', hue = 'Customer type', data = df, ci = None, estimator = sum)
# 按产品线分组数据，并计算每个产品线的平均单价和数量
product_line_data = df.groupby('Product line')['Unit price', 'Quantity'].mean()


print('Average unit prices and quantities for each product line:')
print(product_line_data)

product_line_data.head(10).plot(kind='bar', title = 'Average Unit Price and Quantities Per Product Line')
# 可视化每个产品线的平均单价
product_line_data['Unit price'].plot(kind='bar', title = 'Average Unit Price Per Product Line')
# 可视化每个产品线的平均数量
product_line_data['Quantity'].plot(kind='bar', title = 'Average Quantities Per Product Line')
# 按产品线分组数据，并计算每个产品线的平均毛利率和毛收入
product_line_dataa = df.groupby('Product line')['gross margin percentage', 'gross income'].mean()

print('Average gross margins and gross incomes for each product line:')
print(product_line_dataa)

product_line_dataa.head(10).plot(kind='bar', title = 'Average Gross Margins and Gross Incomes Per Product Line')
# 按产品线分组数据，并计算每个产品线的平均客户评级
product_line_datta = df.groupby('Product line')['Rating'].mean()

print('Average customer ratings for each product line:')
print(product_line_datta)

product_line_datta.head(10).plot(kind='bar', title = 'Average Customer Ratings Per Product Line')
# 按分支机构对数据进行分组，并计算每个分支机构的总销售额和平均客户评级
branch_data = df.groupby('Branch')['Total', 'Rating'].agg(['sum', 'mean'])

branch_data = branch_data.sort_values(('Total', 'sum'), ascending=False)

print('Most popular branches:')
print(branch_data.head(10))

branch_data.head(10).plot(kind='bar', title = 'Most Popular Branch in Sales and Customer Ratings')
# 按城市分组数据，并计算每个城市的总销售额和平均客户评级
city_data = df.groupby('City')['Total', 'Rating'].agg(['sum', 'mean'])

city_data = city_data.sort_values(('Total', 'sum'), ascending=False)

print('Most popular cities:')
print(city_data.head(10))

city_data.head(10).plot(kind='bar', title = 'Most Popular Cities in Sales and Customer Ratings')
# 按性别、客户类型、付款方式和产品线对数据进行分组，并计算每组的平均客户评级
customer_data = df.groupby(['Gender', 'Customer type', 'Payment', 'Product line'])['Rating'].mean()

customer_data = customer_data.sort_values(ascending=False)

print('Top 10 groups with the highest average customer ratings:')
print(customer_data.head(10))

customer_data.head(10).plot(kind='bar', title = 'Top Groups With The Highest Average Customer Ratings')
customer_dataa = df.groupby(['Gender', 'Customer type', 'Payment', 'Product line'])['Rating'].mean()

customer_dataa = customer_data.sort_values()

print('Top 10 groups with the lowest average customer ratings:')
print(customer_dataa.head(10))

customer_dataa.head(10).plot(kind='bar', title = 'Top Groups With The Lowest Average Customer Ratings')
# 计算每月的总销售额
df['Date'] = pd.to_datetime(df['Date'])
monthly_sales = df.groupby(df['Date'].dt.strftime('%B'))['Total'].sum()

print(monthly_sales)

monthly_sales.plot(kind='bar', title = 'Monthly Sales')
# 计算每周的事务总数
df['Date'] = pd.to_datetime(df['Date'])
transactions_per_week = df.groupby(df['Date'].dt.strftime('%U'))['Invoice ID'].nunique()

print(transactions_per_week)

transactions_per_week.plot(kind='bar', title = 'Transactions Per Week')
# 计算每天的事务总数
df['Date'] = pd.to_datetime(df['Date'])
transactions_per_day = df.groupby(df['Date'].dt.strftime('%a'))['Invoice ID'].nunique()

print(transactions_per_day)

transactions_per_day.plot(kind='bar', title='Transaction Per Day')
# 计算每小时的事务总数
df['Time'] = pd.to_datetime(df['Time'])
transactions_per_hour = df.groupby(df['Time'].dt.strftime('%H'))['Invoice ID'].nunique()

print(transactions_per_hour)

transactions_per_hour.plot(kind='bar', title = 'Transactions Per Hour')
# 按产品线和一周中的日期对数据进行分组，并计算每组的总销售量
product_data = df.groupby(['Product line', df['Date'].dt.strftime('%a')])['Quantity'].sum()

weekend_data = product_data.loc[:, ['Sat', 'Sun']]
weekday_data = product_data.loc[:, ['Mon', 'Tue', 'Wed', 'Thu', 'Fri']]

weekend_data = weekend_data.groupby('Product line').sum()
weekday_data = weekday_data.groupby('Product line').sum()

weekend_data = weekend_data.sort_values(ascending=False)
weekday_data = weekday_data.sort_values(ascending=False)
print('Top products sold on weekdays:')
print(weekday_data.head(10))

weekday_data.head(10).plot(kind='bar', title = 'Top Products Sold on Weekdays')
print('Top products sold on weekends:')
print(weekend_data.head(10))

weekend_data.head(10).plot(kind='bar', title = 'Top Products Sold on Weekends')
# 按性别、客户类型、付款方式、日期和时间对数据进行分组，并计算每组的总销售量
transaction_data = df.groupby(['Gender', 'Customer type', 'Payment', 'Date', 'Time'])['Quantity'].sum()

print('Top 10 groups with the highest total quantity sold:')
print(transaction_data.sort_values(ascending=False).head(10))
from pandas.plotting import scatter_matrix

transaction_data = transaction_data.to_frame()

scatter_matrix(transaction_data, alpha=0.2, figsize=(6, 6), diagonal='kde')

plt.show()
import seaborn as sns

sns.jointplot(x='Date', y='Time', data=transaction_data, kind='scatter')

plt.xlabel('Date')
plt.ylabel('Time')
plt.title('Transaction Date and Time vs. Total Amount Spent')

plt.show()
duplicate_invoices = df[df.duplicated(['Invoice ID'])]

print(duplicate_invoices[['Invoice ID', 'Branch', 'City', 'Product line', 'Unit price', 'Quantity', 'Total', 'Date', 'Time', 'Payment']])

df['z_score'] = (df['Total'] - df['Total'].mean()) / df['Total'].std()

outliers = df[(df['z_score'] > 3) | (df['z_score'] < -3)]

print(outliers[['Invoice ID', 'Branch', 'City', 'Product line', 'Unit price', 'Quantity', 'Total', 'Date', 'Time', 'Payment']])
# K-Means
from sklearn.cluster import KMeans

df_clustering = df[['Customer type', 'Gender', 'Total']]

df_clustering = pd.get_dummies(df_clustering)

kmeans = KMeans(n_clusters=3)

kmeans.fit(df_clustering)

predicted_clusters = kmeans.predict(df_clustering)

df_clustering['Segment'] = predicted_clusters

df_segment_sales = df_clustering.groupby('Segment')['Total'].mean()
print(df_segment_sales)
# 按细分市场和客户类型对数据进行分组
df_segment_type = df_clustering.groupby(['Segment', 'Customer type_Member', 'Customer type_Normal']).size()
print(df_segment_type)
# 按细分和性别对数据进行分组
df_segment_gender = df_clustering.groupby(['Segment', 'Gender_Female', 'Gender_Male']).size()
print(df_segment_gender)
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

df_classification = df[['Customer type', 'Gender', 'Product line', 'Unit price', 'Quantity', 'Tax 5%', 'Total', 'Payment', 'cogs', 'gross margin percentage', 'gross income', 'Rating']]

df_classification = pd.get_dummies(df_classification)

df_classification['Rating'] = pd.cut(df_classification['Rating'], bins=3, labels=[1, 2, 3])

X_train, X_test, y_train, y_test = train_test_split(df_classification.drop('Rating', axis=1), df_classification['Rating'], test_size=0.2)

rf = RandomForestClassifier()

rf.fit(X_train, y_train)

predicted_ratings = rf.predict(X_test)

accuracy = rf.score(X_test, y_test)
print('Accuracy:', accuracy)
from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_test, predicted_ratings)
print('Mean absolute error:', mae)
from sklearn.metrics import mean_squared_error

mse = mean_squared_error(y_test, predicted_ratings)
print('Mean squared error:', mse)
from sklearn.metrics import mean_squared_log_error

rmsle = mean_squared_log_error(y_test, predicted_ratings)
print('Root mean squared error:', rmsle)
df_new = df[['Customer type', 'Gender', 'Product line', 'Unit price', 'Quantity', 'Tax 5%', 'Total', 'Payment', 'cogs', 'gross margin percentage', 'gross income']]

df_new = pd.get_dummies(df_new)

predicted_ratings = rf.predict(df_new)

print(predicted_ratings)
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split

df_regression = df[['Branch', 'City', 'Customer type', 'Gender', 'Product line', 'Unit price', 'Quantity', 'Tax 5%', 'Payment', 'cogs', 'gross margin percentage', 'gross income', 'Total']]

df_regression = pd.get_dummies(df_regression)

X_train, X_test, y_train, y_test = train_test_split(df_regression.drop('Total', axis=1), df_regression['Total'], test_size=0.2)

rf = RandomForestRegressor()

rf.fit(X_train, y_train)

predicted_totals = rf.predict(X_test)

accuracy = rf.score(X_test, y_test)
print('Accuracy:', accuracy)
df_new = df[['Branch', 'City', 'Customer type', 'Gender', 'Product line', 'Unit price', 'Quantity', 'Tax 5%', 'Payment', 'cogs', 'gross margin percentage', 'gross income']]

df_new = pd.get_dummies(df_new)

predicted_totals = rf.predict(df_new)

print(predicted_totals)