python(十) pandas

0 pandas介绍

Pandas是一款开放源码的BSD许可的Python库，为Python编程语言提供了高性能，易于使用的数据结构和数据分析工具。
使用import pandas as pd导入pandas包并且起个响亮的名字pd

1 读取数据的方式

• 1.1准备数据表csv文件

  • it01.csv
  • 
  • it02.csv
  • 
  • 创建的时候记得选编码
  • 
  • 在桌面上我们打开的文件是表格形式，但是我们在idea里用txt方式打开就能发现数据是以,号分隔的。
  • 
  • 

import pandas as pd
#编码以gb2312从文件读取csv文件，
itInfo = pd.read_csv('it01.csv',encoding='gb2312')
print(type(itInfo))
print("---------------------")
print(itInfo.dtypes)
print("---------------------")
print(itInfo)

测试结果: 

2 展现数据的方式

• 2.1数据列名集合及数据维度

import pandas as pd
itInfo = pd.read_csv('it01.csv',encoding='gb2312')
#查询几行几列数据
print(itInfo.shape)
print("---------------------")
#查询列名集合
print(itInfo.columns)

测试结果:

(8, 3)

Index(['name', 'confidence', 'money'], dtype='object')

• 2.2数据查询

import pandas as pd
#编码以gb2312从文件读取csv文件，
itInfo = pd.read_csv('it01.csv',encoding='gb2312')
print("案例1---------------------")
#读取前5条数据
print(itInfo.head())
print("案例2---------------------")
#读取前2条数据
print(itInfo.head(2))
print("案例3---------------------")
#读取后2条数据
print(itInfo.tail(2))
print("案例4---------------------")
#读取第几条数据，下标从0开始
print(itInfo.loc[0])
print("案例5---------------------")
#读取第4条到第7条数据
print(itInfo.loc[3:6])
print("案例6---------------------")
#读取所有name字段的值
print(itInfo['name'])

测试结果: >案例1--------------------- > name confidence money >0 张三 55 5555.55 >1 李四 60 6666.66 >2 王五 70 7777.77 >3 赵六 80 8888.88 >4 哈八 90 9999.99 >案例2--------------------- > name confidence money >0 张三 55 5555.55 >1 李四 60 6666.66 >案例3--------------------- > name confidence money >6 吴十 33 3333.33 >7 十一 44 4444.44 >案例4--------------------- >name 张三 >confidence 55 >money 5555.55 >Name: 0, dtype: object >案例5--------------------- > name confidence money >3 赵六 80 8888.88 >4 哈八 90 9999.99 >5 西九 100 10000.11 >6 吴十 33 3333.33 >案例6--------------------- >0 张三 >1 李四 >2 王五 >3 赵六 >4 哈八 >5 西九 >6 吴十 >7 十一 >Name: name, dtype: object

• 2.3数据处理

import pandas as pd
#编码以gb2312从文件读取csv文件，
itInfo = pd.read_csv('it01.csv',encoding='gb2312')
print("案例1---------------------")
#读取全部数据
print(itInfo)
print("案例2---------------------")
#把信任度进行归一化操作
confidence = itInfo['confidence']/100
print(confidence)
print("案例3---------------------")
#新增一个数据列
cMoney = itInfo['money'] / itInfo['confidence']
itInfo['cMoney'] = cMoney
print(itInfo)
print("案例4---------------------")
#confidence，最小值，平均值
print(itInfo['confidence'].max())
print(itInfo['confidence'].min())
print(itInfo['confidence'].mean())
print("案例5---------------------")
#根据工资排序：inplace是否替换源，ascending倒序设置
itInfo.sort_values('money',inplace=True,ascending=False)
print(itInfo)

测试结果: >案例1--------------------- > name confidence money >0 张三 55 5555.55 >1 李四 60 6666.66 >2 王五 70 7777.77 >3 赵六 80 8888.88 >4 哈八 90 9999.99 >5 西九 100 10000.11 >6 吴十 33 3333.33 >7 十一 44 4444.44 >案例2--------------------- >0 0.55 >1 0.60 >2 0.70 >3 0.80 >4 0.90 >5 1.00 >6 0.33 >7 0.44 >Name: confidence, dtype: float64 >案例3--------------------- > name confidence money cMoney >0 张三 55 5555.55 101.0100 >1 李四 60 6666.66 111.1110 >2 王五 70 7777.77 111.1110 >3 赵六 80 8888.88 111.1110 >4 哈八 90 9999.99 111.1110 >5 西九 100 10000.11 100.0011 >6 吴十 33 3333.33 101.0100 >7 十一 44 4444.44 101.0100 >案例4--------------------- >100 >33 >66.5 >案例5--------------------- > name confidence money cMoney >5 西九 100 10000.11 100.0011 >4 哈八 90 9999.99 111.1110 >3 赵六 80 8888.88 111.1110 >2 王五 70 7777.77 111.1110 >1 李四 60 6666.66 111.1110 >0 张三 55 5555.55 101.0100 >7 十一 44 4444.44 101.0100 >6 吴十 33 3333.33 101.0100

• 2.4空值判断

  • 修改吴十的confidence为NaN(Not a Number-->不是一个数)
  • 

import pandas as pd
#编码以gb2312从文件读取csv文件，
itInfo = pd.read_csv('it01.csv',encoding='gb2312')
print("案例1---------------------")
#读取全部数据
print(itInfo)
print("案例2---------------------")
#判断是否为空
isnull_confidence = pd.isnull(itInfo['confidence'])
print(isnull_confidence)
print("案例3---------------------")
#总和
print(sum(itInfo['confidence']))
print("案例4---------------------")
#过滤
not_null_confidence = itInfo['confidence'][isnull_confidence==False]
print(not_null_confidence)
print("案例5---------------------")
#求和
print(sum(not_null_confidence))

测试结果: >案例1--------------------- > name confidence money >0 张三 55.0 5555.55 >1 李四 60.0 6666.66 >2 王五 70.0 7777.77 >3 赵六 80.0 8888.88 >4 哈八 90.0 9999.99 >5 西九 100.0 10000.11 >6 吴十 NaN 3333.33 >7 十一 44.0 4444.44 >案例2--------------------- >0 False >1 False >2 False >3 False >4 False >5 False >6 True >7 False >Name: confidence, dtype: bool >案例3--------------------- >nan >案例4--------------------- >0 55.0 >1 60.0 >2 70.0 >3 80.0 >4 90.0 >5 100.0 >7 44.0 >Name: confidence, dtype: float64 >案例5--------------------- >499.0

• 2.5分组

import pandas as pd
import numpy as np
#编码以gb2312从文件读取csv文件，
itInfo = pd.read_csv('it02.csv',encoding='gb2312')
print("案例1---------------------")
#读取全部数据
print(itInfo)
print("案例2---------------------")
#分组：index以什么分组，values求什么结果,aggfunc以什么方法
group = itInfo.pivot_table(index='sex',values='money',aggfunc=np.sum)
print(group)

测试结果: >案例1--------------------- > name confidence money sex >0 张三 55 5555.55 male >1 李四 60 6666.66 female >2 王五 70 7777.77 male >3 赵六 80 8888.88 female >4 哈八 90 9999.99 female >5 西九 100 10000.11 male >6 吴十 33 3333.33 female >7 十一 44 4444.44 male >案例2--------------------- > money >sex >female 28888.86 >male 27777.87