Python pandas 入门 03 DataFrame

Pandas 数据结构 - DataFrame

DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）。

DataFrame 构造方法如下：

pandas.DataFrame( data, index, columns, dtype, copy)

参数说明：

data：一组数据(ndarray、series, map, lists, dict 等类型)。
index：索引值，或者可以称为行标签。
columns：列标签，默认为 RangeIndex (0, 1, 2, …, n) 。
dtype：数据类型。
copy：拷贝数据，默认为 False。

Pandas DataFrame 是一个二维的数组结构，类似二维数组。

实例 - 使用列表创建

import pandas as pd

data = [['Google',10],['Run',12],['Wiki',13]]

df = pd.DataFrame(data,columns=['Site','Age'],dtype=float)

print(df)

输出结果如下：

     Site   Age
0  Google  10.0
1     Run  12.0
2    Wiki  13.0

以下实例使用 ndarrays 创建，ndarray 的长度必须相同，如果传递了 index，则索引的长度应等于数组的长度。如果没有传递索引，则默认情况下，索引将是range(n)，其中n是数组长度。

ndarrays 可以参考：NumPy Ndarray 对象

实例 - 使用 ndarrays 创建

import pandas as pd

data = {'Site':['Google', 'Run', 'Wiki'], 'Age':[10, 12, 13]}

df = pd.DataFrame(data)

print (df)

输出结果如下：

     Site  Age
0  Google   10
1     Run   12
2    Wiki   13

从以上输出结果可以知道， DataFrame 数据类型一个表格，包含 rows（行）和 columns（列）：

还可以使用字典（key/value），其中字典的 key 为列名:

实例 - 使用字典创建

import pandas as pd

data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]

df = pd.DataFrame(data)

print (df)

输出结果为：

   a   b     c
0  1   2   NaN
1  5  10  20.0

没有对应的部分数据为 NaN。

Pandas 可以使用 loc 属性返回指定行的数据，如果没有设置索引，第一行索引为 0，第二行索引为 1，以此类推：

实例

import pandas as pd

data = {
  "calories": [420, 380, 390],
  "duration": [50, 40, 45]
}

# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)

# 返回第一行
print(df.loc[0])
# 返回第二行
print(df.loc[1])

输出结果如下：

calories    420
duration     50
Name: 0, dtype: int64
calories    380
duration     40
Name: 1, dtype: int64

注意：返回结果其实就是一个 Pandas Series 数据。

也可以返回多行数据，使用 [[ ... ]] 格式，... 为各行的索引，以逗号隔开：

实例

import pandas as pd

data = {
  "calories": [420, 380, 390],
  "duration": [50, 40, 45]
}

# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)

# 返回第一行和第二行
print(df.loc[[0, 1]])

输出结果为：

   calories  duration
0       420        50
1       380        40

注意：返回结果其实就是一个 Pandas DataFrame 数据。

我们可以指定索引值，如下实例：

实例

import pandas as pd

data = {
  "calories": [420, 380, 390],
  "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index = ["day1", "day2", "day3"])

print(df)

输出结果为：

      calories  duration
day1       420        50
day2       380        40
day3       390        45

Pandas 可以使用 loc 属性返回指定索引对应到某一行：

实例

import pandas as pd

data = {
  "calories": [420, 380, 390],
  "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index = ["day1", "day2", "day3"])

# 指定索引
print(df.loc["day2"])

输出结果为：

calories    380
duration     40
Name: day2, dtype: int64

data.head()  #返回data的前几行数据，默认为前五行，需要前十行则data.head(10)
data.tail()  #返回data的后几行数据，默认为后五行，需要后十行则data.tail(10)

REF

https://www.runoob.com/pandas/pandas-dataframe.html

===========================

一、根据列索引取某一列/多列（常用）
df['W']   # 取‘W’列，返回类型是Series
df[['W']] # 取‘W’列，返回类型是DataFrame
df[['W','Y']] # 取‘W’列和‘Y’列
df.loc[:,'W':'Y'] # 取‘W’列到‘Y’列

二、根据行索引取某一行/多行
df.loc['a']   # 取‘a’行，返回类型是Series
df.loc[['a']]   # 取‘a’行，返回类型是DataFrame
df.loc[['a','c']]   # 取‘a’行和‘c’行，也可以写成 df.loc[['a','c'],:]
df.loc['a':'c',:]   # 取‘a’行到‘c’行

三、根据列位置取某一列/多列
df.iloc[:,1]    # 取第2列（‘X’列），列号为1，返回类型是Series
df.iloc[:,0:2] # 取前2列（‘W’列和‘X’列），列号为0和1
df.iloc[:,0:-1] # 取最后一列之前的所有列

四、根据行位置取某一行/多行（常用）
df[:2] #取前2行，行号为0和1
df[1:2] #取第2行，行号为1
df.iloc[1] # 取第2行（‘b’行），行号为1，返回类型是Series，也可以写成df.iloc[1,:]

五、取某一行某一列（常用）
df.loc[['b'],['W']] # 取‘b’行‘W’列，返回类型是DataFrame，带着行、列索引的
df.loc['b','W']     # 取‘b’行‘W’列的值，返回类型是int，不带行列索引
df.loc['b']['W']    # 取‘b’行‘W’列的值(从Series类型df.loc['b']中通过索引取值)

df.iloc[[0],[0]]    # 取第1行、第1列，返回类型是DataFrame，带着行、列索引的
df.iloc[0,0]        # 取第1行、第1列的值
df.iloc[0][0]       # 取第1行、第1列的值(从Series类型df.iloc[0]中通过序号取值)
df.iloc[0]['W']     # 取第1行、‘W’列的值(从Series类型df.iloc[0]中通过索引取值)

六、取多行多列
df[:2][['W','Y']]      # 取前2行的‘W’列和’Y‘列
df[:2].loc[:2,'W':'Y'] # 取前2行的‘W’列到’Y‘列

df.iloc[0][['W','Y']] # 取第1行的‘W’列和’Y‘列
df.iloc[0]['W':'Y']    # 取第1行的‘W’列到’Y‘列

df.loc[["a","c"],["W","Y"]] # 取‘a’行和‘c’行，‘W’列和‘Y’列
df.iloc[[0,2],[1,3]]        # 取1、3行，2、4列

总结：一般通过行位置来取行，通过列索引来取列，且行索引大多数情况下和行位置是相同的。
最常用的是以下几个

# 取某一列
df['W']
# 取某一行
df.iloc[0]
# 取多列
df.loc[:,'W':'Y'] # 取‘W’列到‘Y’列
df.iloc[:,0:-1]   # 取最后一列之前的所有列
# 取对应行列的值
df.iloc[0]['W']
df.loc['a','W'] # 在行索引和行位置相同的情况下的写法就是，df.loc[0,'W']

链接：https://blog.csdn.net/qq_33218097/article/details/130315303

=======================

DataFrame筛选数据的方法包括：根据字段、标签、位置、布尔索引、通过query进行筛选。
1、根据字段筛选数据

根据字段筛选简单理解为根据每一列继续筛选，将想要的列拿出再对齐进行操作，可以提高效率。

可以通过df.字段名、df[字段名]或df[['字段名']]（此种方法可以拿取多列数据，并形成一个新的dataframe）

import pandas as pd
import numpy as np

df=pd.DataFrame(np.random.randint(0,150,size=(150,3)),
                columns=['math','python','english']
                )
print(df)
print(df.python)
print(df["math"])
print(df[['math']])
print(df[['math','python']])
'

2、根据标签筛选数据

标签可以理解为索引（每一行），标签除了默认的数字之外，在定义时可以根据需求进行定义。

通过loc进行操作

import pandas as pd
import numpy as np

df=pd.DataFrame(np.random.randint(0,100,size=(10,3)),
                index=list('ABCDEFGHIG'),
                columns=['math','python','english']
                )
print(df.loc['A'])#筛选出标签A这一行
print(df.loc[['A']])#将A这一行返回成一个新的DataFrame
print(df.loc[['A','B']])#将AB两行返回成DataFrame
print(df.loc[['A','B'],['math','python']])#左边为标签，右边为字段，即将AB两行的math、python两列返回
print(df.loc['A':'F',['math','python']])#采用分区方法，将A到F行的此两列返回
print(df.loc[:,['math','python']])#单独的‘:’表示所有行
print(df.loc['B'::2])#从B开始隔一个取一个
'

3、根据布尔索引筛选数据

通过比较运算进行创造布尔条件，通过其值进行筛选。值得注意的是其逻辑运算为（&、|、~）

import pandas as pd
import numpy as np

df=pd.DataFrame(np.random.randint(0,151,size=(2000,3)),
                columns=['math','python','english']
                )
cond1=df.python>99#其返回值为一个bool类型的series，需要变量进行接受
print(cond1)
df1=df[cond1]
print(df1[['python']])#将cond1作为筛选条件，这里为了只看其中一列，用一个新的dataframe
'

print(df[df>50])#对df中的所有元素进行判定，其false项会换成NaN

print(df[df.python.isin([108])])#使用isin方法查找python分数为108，中括号里也可以为数组

4、通过query筛选数据

query()方法允许使用SQL表达式进行筛选数据

    df2=df.query('python>135 and math>120 and english > 100')
    print(df2)

链接：https://blog.csdn.net/m0_62172798/article/details/141414146

===============================

posted @ 2022-03-18 15:13 emanlee 阅读(256) 评论(0) 编辑收藏举报

刷新页面返回顶部