Pandas常用命令
一.数据导入和导出
(一)读取csv文件
1.本地读取
import pandas as pd
df = pd.read_csv('tips.csv') #根据自己数据文件保存的路径填写(p.s. python填写路径时,要么使用/,要么使用\\)
2.网络读取
import pandas as pd
data_url = "https://raw.githubusercontent.com/mwaskom/seaborn-data/master/tips.csv" #填写url读取
df = pd.read_csv(data_url)
3.读取数据库
# 读取mysql 数据
con = pymysql.connect(host='192.168.159.129',user='root',password="mysql",database='mysql',port=3306,charset='utf8')
a = pd.read_sql_query('select * from user;',con=con)
print(type(a))
二.提取和筛选需要的数据
print(df.head()) #打印数据前五行
print(df.tail()) #打印数据后5行
print(df.columns) #打印列名
print(df.index) #打印行名
print(df.ix[10:20, 0:3]) #打印10~20行前三列数据
print(df.iloc[[1,3,5],[2,4]]) #提取不连续行和列的数据,这个例子提取的是第1,3,5行,第2,4列的数据
print(df.iat[3,2]) #专门提取某一个数据,这个例子提取的是第三行,第二列数据(默认从0开始算)
print(df.drop(df.columns[1, 2], axis = 1)) #舍弃数据前两列
print(df.drop(df.columns[[1, 2]], axis = 0)) #舍弃数据前两行
print(df.shape) #打印维度
print(df.iloc[3]) #选取第3行
print(df.iloc[2:4]) #选取第2到第3行
print(df.iloc[0,1]) #选取第0行1列的元素
print(df.dtypes) # 查看数据类型
print(df[df.tip > 8 ]) #选取tip列大于8的
#数据筛选同样可以用”或“和”且“作为筛选条件,比如
df[(df.tip>7)|(df.total_bill>50)] #筛选出小费大于$7或总账单大于$50的数据
df[(df.tip>7)&(df.total_bill>50)] #筛选出小费大于$7且总账单大于$50的数据
df[['day','time']][(df.tip>7)|(df.total_bill>50)] #假如加入了筛选条件后,我们只关心day和time
print(df.describe()) #描述性统计
三.数据处理
1.数据转置
print(df.T)
2.数据排序
print(df.sort_values(by='size',ascending=False)) # 根据 size 列进行排序,ascending=False 降序。默认升序
四.缺失值处理
1.填充缺失值
df['tip'].fillna("hello") # 指定数据代替缺失值
df['tip'].fillna(method='pad') #用前一个数据代替缺失值
df['tip'].fillna(method='bfill') #用后一个数据代替缺失值
2.删除缺失值
df['tip'].dropna(axis=0) #删除缺失行
df['tip'].dropna(axis=1) #删除缺失列
五.数据分组
group = df.groupby('day') #按day这一列进行分组
print(group.first())#打印每一组的第一行数据
print(group.last())#打印每一组的最后一行数据
六.保持数据
1.写入数据库
# 导入必要模块
import pandas as pd
from sqlalchemy import create_engine
# 初始化数据库连接,使用pymysql模块
# MySQL的用户:root, 密码:mysql, 端口:3306,数据库:mydb
# 读取csv 数据
df = pd.read_csv('tips.csv')
engine = create_engine('mysql+pymysql://root:mysql@192.168.159.129:3306/my_data?charset=utf8')
df.to_sql('tips', con=engine, index=True,if_exists='fail') # 将df 数据读取写入到mysql 数据库,表名为 tips,index=True 表示写入行索引
if_exists 存在“fail”、“replace”、“append”,则默认为“fail”
如果表已经存在,如何进行操作。
*fail:引发ValueError。
*replace:在插入新值之前删除表。
*append:在现有表中插入新值。