天池_短租数据分析

数据源：https://tianchi.aliyun.com/competition/entrance/231715/information

导入模块

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.rc("font",family="SimHei",size="12")  #解决中文无法显示的问题

导入数据

#导入数据
listings=pd.read_csv('F:\\python\\天池_短租数据分析\\listings.csv')

简单的数据查看

listings.info()
listings.head(5)
listings.shape
listings.describe()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 28452 entries, 0 to 28451
Data columns (total 16 columns):
 #   Column                          Non-Null Count  Dtype  
---  ------                          --------------  -----  
 0   id                              28452 non-null  int64  
 1   name                            28451 non-null  object 
 2   host_id                         28452 non-null  int64  
 3   host_name                       28452 non-null  object 
 4   neighbourhood_group             0 non-null      float64
 5   neighbourhood                   28452 non-null  object 
 6   latitude                        28452 non-null  float64
 7   longitude                       28452 non-null  float64
 8   room_type                       28452 non-null  object 
 9   price                           28452 non-null  int64  
 10  minimum_nights                  28452 non-null  int64  
 11  number_of_reviews               28452 non-null  int64  
 12  last_review                     17294 non-null  object 
 13  reviews_per_month               17294 non-null  float64
 14  calculated_host_listings_count  28452 non-null  int64  
 15  availability_365                28452 non-null  int64  
dtypes: float64(4), int64(7), object(5)
memory usage: 3.5+ MB

数据情况如上面截图，主要是有关可租房屋的信息，字段含义和英文含义基本一致，主要包括：房东ID、房东姓名、所属行政区、经纬度、房间类型、价格、最小可租天数、评论数量、最后一次评论时间、每月评论占比、可出租房屋、每年可出租时长等

查看数据缺失情况

#数据缺失计算
missing=listings.isnull().sum()
missing[missing>0].plot.bar()

缺失比例

#数据缺失比例计算
missing=listings.isnull().sum()/len(listings)
missing[missing>0].plot.bar()

可以看出来，一共有四个字段有缺失，其中有一个字段缺失特别严重，缺失比例达到了100%，可以删除，还有2个缺失40%左右，也可以考虑将此删除

区分数据特征个类别特征

#数据特征
numeric_features = listings.select_dtypes(include=[np.number])
numeric_features.columns
#类别特征
categorical_features = listings.select_dtypes(include=[np.object])
categorical_features.columns

类别特征

查看类别特征的值的个数

for cat_fea in categorical_features:
    print(cat_fea + "的特征分布如下：")
    print("{}特征有个{}不同的值".format(cat_fea, listings[cat_fea].nunique()))
    print(listings[cat_fea].value_counts())

类别特征['name', 'host_name', 'neighbourhood', 'room_type', 'last_review']

只保留neighbourhood，'/'前面的值

#使用str.split，记住不要忘记.str，不然会出错
listings['neighbourhood']=listings['neighbourhood'].str.split('/').str[0]

原来是这样：

0    朝阳区 / Chaoyang
1       密云县 / Miyun
2               东城区
3               东城区
4    朝阳区 / Chaoyang
Name: neighbourhood, dtype: object

现在是这样：

0    朝阳区 
1    密云县 
2     东城区
3     东城区
4    朝阳区 
Name: neighbourhood, dtype: object

分析neighbourhood和room_type对和price的关系

#按照neighbourhood和room_type分组，计算每个值的个数和price的均值
neigh_roomtype=listings.groupby(['neighbourhood','room_type']).agg({'id':'size','price':'mean'})
#将ID改为number
neigh_roomtype=neigh_roomtype.rename(columns={'id':'number'})

#先对number计算统计可视化等
number_n_r=neigh_roomtype.unstack()['number']
number_n_r.plot(figsize=(12,5),title='图1：不同房屋类型在不同地区的数量')

画条形图

#条形图
number_n_r.plot.bar(figsize=(12,5),title='图1：不同房屋类型在不同地区的数量')

画饼图

#画饼图（sum（1）是按行求和）
number_n_r.sum(1).sort_values().plot.pie(figsize=(6,6),autopct='%.2f%%',title='图2：房屋地区占比')

#画饼图（按列求和）
number_n_r.sum(0).sort_values().plot.pie(figsize=(6,6),autopct='%.2f%%',title='图3：房屋类型占比')

不同区域不同房子类型的均价

#先对price计算统计可视化等
price_r=neigh_roomtype.unstack()['price']
price_r.plot.bar(figsize=(12,5),title='图1：不同房屋类型在不同地区的均价')

#先对price计算统计可视化等
price_r=neigh_roomtype.unstack()['price']
price_r.plot(figsize=(12,5),title='图1：不同房屋类型在不同地区的均价')

计算不同房源均价

#计不同地区均价
listings.groupby('neighbourhood')['price'].mean().sort_values().plot.bar(figsize=(8,8),title='图4：不同地区房源均价')

不能是这样，因为这样没有考虑个数，直接使用三个值平均，这种做法是错误了

price_r.mean(1).sort_values().plot.bar(figsize=(6,6),title='图2：房屋地区占比')

计算不同房屋类型均价

#不同房屋类型均价
listings.groupby('room_type')['price'].mean().sort_values().plot.bar(figsize=(8,8),title='图5：不同房屋类型均价')

不同房源地区不同房屋类型均价

#不同房源地区和房子类型均价
n_r_data=listings.groupby(['neighbourhood','room_type'])['price'].mean()
plt.figure(figsize=(8,8))
plt.title('图6：不同房屋类型在不同地区的均价')
sns.barplot(x='neighbourhood',y='price',hue='room_type',data=n_r_data.reset_index())

#或者是这样子
#先对price计算统计可视化等
price_r=neigh_roomtype.unstack()['price']
price_r.plot.bar(figsize=(12,5),title='图1：不同房屋类型在不同地区的均价')

查看name 和host_name

listings[['name', 'host_name']].head()

房东名字应该是没有什么信息的，可以考虑去掉，name可以从中提取一些特征

查看最后last_review

listings['last_review'].head()

0    2019-03-04
1    2017-10-08
2    2019-02-05
3    2016-12-03
4    2018-08-01
Name: last_review, dtype: object

可以构造一些有用的特征

数值特征

查看数值特征的值的分布，连续还是离散的

'''
Index(['id', 'host_id', 'neighbourhood_group', 'latitude', 'longitude',
       'price', 'minimum_nights', 'number_of_reviews', 'reviews_per_month',
       'calculated_host_listings_count', 'availability_365'],
      dtype='object')
'''
for i in numeric_features.columns:
    print(i,listings[i].value_counts())

1.id和host_id是没有什么信息的可以删除

#可以先保留一下id ,然后再删除
id=listings['id']
listings=listings.drop(['id', 'host_id'],axis=1)

2.由于neighbourhood_group的值全部一样，都是空值，因此将此删除

listings=listings.drop('neighbourhood_group',axis=1)

3.经纬度，可能和房源区域强相关

sns.regplot('latitude','price',data=listings)
sns.regplot('longitude','price',data=listings)

4.最小可租天数

sns.regplot('minimum_nights','price',data=listings)

sns.boxplot('minimum_nights',data=listings)

这肯定有异常值了，而且一般不都是最小入住天数是1天吗

#看的出来最小入住天数是1晚，还有30天这个值还挺多的有609个，应该是月租
listings['minimum_nights'].value_counts().sort_index()

5.评论数量、最后一次评论时间（单独拿出来）、每月评论占比、可出租房屋、每年可出租时长

for i in ['number_of_reviews', 
       'calculated_host_listings_count', 'availability_365']:
    sns.regplot(i,'price',data=listings)
    plt.show()

目标变量price

sns.boxplot(listings['price'])
sns.distplot(listings['price'])

大于10000的值影响太大了，可以只画10000以下的

sns.distplot(listings[listings['price']<=10000]['price'])

查看一下描述性

listings['price'].describe()

count    28452.000000
mean       611.203325
std       1623.535077
min          0.000000
25%        235.000000
50%        389.000000
75%        577.000000
max      68983.000000
Name: price, dtype: float64

再看一下1000以下的

sns.distplot(listings[listings['price']<=1000]['price'])

为什么会有0，好诡异，青年旅馆吗

listings['price'].value_counts().sort_index()
#0        3

log一下

sns.distplot(np.log(listings['price']+1))
sns.distplot(np.log(listings[listings['price']<=1000]['price']+1))

特征工程

先复制一份数据，省得对原数据造成影响

train=listings.copy()

先对类别特征进行构造特征

posted on 2020-06-30 17:37 小小喽啰阅读(754) 评论(0) 编辑收藏举报