python数据分析 datawhale

数据分析

数据载入及初步观察

载入数据

导入Numpy和pandas

import numpy as np
import pandas as pd 

使用相对路径和绝对路径载入数据

df = pd.read_csv('train.csv')
df = pd.read_csv('/Users/chenandong/Documents/datawhale数据分析每个人题目设计/招募阶段/第一单元项目集合/train.csv')

绝对路径：绝对路径是指文件在硬盘上真正存在的路径

相对路径：相对于自己的目标文件位置

每1000行为一个数据模块，逐块读取

chunker = pd.read_csv('train.csv', chunksize=1000)

想使用分块处理，只需在read_csv()方法中加入chunksize=100000（这里假设每一块有100000行）

df=pd.read_csv('data.csv',header=None,chunksize=100000)

然后使用for循环去每块每块地去处理（chunk的type是DataFrame）

for chunk in df:
	print(chunk)

更改表头

修改列名a，b为A、B

df.columns = ['A','B']

只修改列名a为A

df.rename(columns={'a':'A'})

初步观察

观察前十行数据和后十五行数据

df.head(10)
df.tail(15)

打印摘要

df.info()

基本信息

df.info():          # 打印摘要
df.describe():      # 描述性统计信息
df.values:          # 数据 <ndarray>
df.to_numpy()       # 数据 <ndarray> (推荐)
df.shape:           # 形状 (行数, 列数)
df.columns:         # 列标签 <Index>
df.columns.values:  # 列标签 <ndarray>
df.index:           # 行标签 <Index>
df.index.values:    # 行标签 <ndarray>
df.head(n):         # 前n行
df.tail(n):         # 尾n行
pd.options.display.max_columns=n: # 最多显示n列
pd.options.display.max_rows=n:    # 最多显示n行
df.memory_usage():                # 占用内存(字节B)

判断数据是否为空

df.isnull()

保存数据

df.to_csv('train_chinese.csv')

pandas基础

DateFrame 和 Series

DataFrame既有行索引，也有列索引。类似于excel

行索引：index
列索引：columns
值：values

Series是一个一维的结构 可储存整数，浮点数，字符串，python对象等类型的数据
创建Series的语法：pd.Series()；
常用的几个参数：

1.index，用于指定新的索引，
例如pd.Series(arr1,index=[‘a’,‘b’,‘c’,‘d’,‘e’])以a,b,c,d,e作为行索引；
2.dtype，用于指定元素的数据类型；

查看DataFrame数据的每列的项

df.columns

查看‘cabin’这列的所有项

df.Cabin
df['Cabin']

删除指定

筛选

pandas：数据筛选的8个操作_pandas筛选列表中的元素-CSDN博客

让行索引升序排序

sample.sort_index（）

让列索引升序排序

sample.sort_index(axis=1)

让列索引降序排序

sample.sort_index(axis=1，ascending=False)