pandas 数据切片方法

pandas 数据切片方法

pandas 数据切片方法 ：[],loc,iloc,at,iat,ix

基础数据

import pandas as pd
import random
random.seed(0)
rnd_1 = [random.randrange(1,20) for x in range(10)]
rnd_2 = [random.randrange(1,20) for x in range(10)]
rnd_3 = [random.randrange(1,20) for x in range(10)]
fecha = pd.date_range('2012-4-10', '2012-4-19')
data = pd.DataFrame({'fecha':fecha, 'rnd_1': rnd_1, 'rnd_2': rnd_2, 'rnd_3': rnd_3})
print(data)
print(data.describe())

结果：

       fecha  rnd_1  rnd_2  rnd_3
0 2012-04-10     13     19     10
1 2012-04-11     14      7      4
2 2012-04-12      2     17      3
3 2012-04-13      9      5     11
4 2012-04-14     17     10     16
5 2012-04-15     16      5     18
6 2012-04-16     13      4      4
7 2012-04-17     10      9     12
8 2012-04-18     16     18     14
9 2012-04-19     12      5     11
           rnd_1      rnd_2      rnd_3
count  10.000000  10.000000  10.000000
mean   12.200000   9.900000  10.300000
std     4.417138   5.915141   5.186521
min     2.000000   4.000000   3.000000
25%    10.500000   5.000000   5.500000
50%    13.000000   8.000000  11.000000
75%    15.500000  15.250000  13.500000
max    17.000000  19.000000  18.000000

[]切片方法
按照索引实现行选择或列选择或区块选择

print(data[1:5])   # 行选择
 
       fecha  rnd_1  rnd_2  rnd_3
1 2012-04-11     14      7      4
2 2012-04-12      2     17      3
3 2012-04-13      9      5     11
4 2012-04-14     17     10     16
 
print(data[['rnd_1', 'rnd_2']])   # 列选择
 
   rnd_1  rnd_2
0     13     19
1     14      7
2      2     17
3      9      5
4     17     10
5     16      5
6     13      4
7     10      9
8     16     18
9     12      5
 
# 区块选择， 对于多列选择，不能像行选择时一样使用1：5这样的方法来选择
print(data[:5][['rnd_1', 'rnd_2']]) 
 
   rnd_1  rnd_2
0     13     19
1     14      7
2      2     17
3      9      5
4     17     10

loc
loc可以按照索引来进行行列选择，包含结尾

# 按照索引行选择， loc与第一种方法不同之处在于会把第5行也选择进去，而第一种方法只会选择到第4行为止。
print(data.loc[1:5])
 
       fecha  rnd_1  rnd_2  rnd_3
1 2012-04-11     14      7      4
2 2012-04-12      2     17      3
3 2012-04-13      9      5     11
4 2012-04-14     17     10     16
5 2012-04-15     16      5     18
 
# 区块选择
print(data.loc[2:4, ['rnd_2', 'fecha']])
 
   rnd_2      fecha
2     17 2012-04-12
3      5 2012-04-13
4     10 2012-04-14

loc能够选择在两个特定日期之间的数据，这两个日期必须都要在索引中

# 将行索引设定为日期
data_fecha = data.set_index('fecha')
print(data_fecha.head())
 
            rnd_1  rnd_2  rnd_3
fecha                          
2012-04-10     13     19     10
2012-04-11     14      7      4
2012-04-12      2     17      3
2012-04-13      9      5     11
2012-04-14     17     10     16
 
# 生成两个特定日期
from pandas import datetime
fecha_1 = datetime(2012, 4, 14)
fecha_2 = datetime(2012, 4, 18)
 
 # 生成切片数据
print(data_fecha.loc[fecha_1: fecha_2])
 
            rnd_1  rnd_2  rnd_3
fecha
2012-04-14     17     10     16
2012-04-15     16      5     18
2012-04-16     13      4      4
2012-04-17     10      9     12
2012-04-18     16     18     14

如果没有特殊需求，强烈建议使用loc而尽量少使用[]，因为loc在对DataFrame进行重新赋值操作时会避免chained indexing问题，使用[]时编译器很可能会给出SettingWithCopy的警告。

iloc
loc是按照索引（index）的值来选取，iloc是按照索引的位置来进行选取。iloc不关心索引的具体值是多少，只关心位置是多少，所以使用iloc时方括号中只能使用数值。

# 行选择
print(data_fecha.iloc[1: 5, :])
 
            rnd_1  rnd_2  rnd_3
fecha
2012-04-11     14      7      4
2012-04-12      2     17      3
2012-04-13      9      5     11
2012-04-14     17     10     16
 
# 列选择
print(data_fecha.iloc[:,[1,2]].head())
 
            rnd_2  rnd_3
fecha
2012-04-10     19     10
2012-04-11      7      4
2012-04-12     17      3
2012-04-13      5     11
2012-04-14     10     16
 
# 切片选择
print( data_fecha.iloc[[1,3,6],[0,2]])
 
            rnd_1  rnd_3
fecha
2012-04-11     14      4
2012-04-13      9     11
2012-04-16     13      4

at
at的使用方法与loc类似，但是比loc有更快的访问数据的速度，只能访问单个元素，不能访问多个元素。

iat
iat对于iloc的关系就像at对于loc的关系，是一种更快的基于索引位置的选择方法，同at一样只能访问单个元素。

ix
以上几种方法都要求查询的秩在索引中，或者位置不超过长度范围，而ix允许你得到不在DataFrame索引中的数据。

选取或者删除某列含有特殊数值的行

import pandas as pd
import numpy as np
 
a=np.array([[1,2,3],[4,5,6],[7,8,9]])
df1=pd.DataFrame(a,index=['row0','row1','row2'],columns=list('ABC'))
print(df1)
df2=df1.copy()
 
#选取某列含有特定数值的行
# 选取df1中A列包含数字1的行
df1=df1[df1['A'].isin([1])]
#通过~取反，选取不包含数字1的行
df2=df2[~df2['A'].isin([1])]
print(df1)
print(df2)

结果：

      A  B  C
row0  1  2  3
row1  4  5  6
row2  7  8  9
 
      A  B  C
row0  1  2  3
 
      A  B  C
row1  4  5  6
row2  7  8  9

选取或者删除某行含有特殊值的列

import pandas as pd
import numpy as np
 
a = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
df2 = pd.DataFrame(a, index=['row0', 'row1', 'row2'], columns=list('ABC'))
print(df2)
#选取某行含有特定数值的列
cols=[x for i,x in enumerate(df2.columns) if df2.iat[0,i]==3]
#利用enumerate对row0进行遍历，将含有数字3的列放入cols中
print(cols)
 
#df2=df2[cols]   选取含有特定数值的列
df2=df2.drop(cols,axis=1) #利用drop方法将含有特定数值的列删除
print(df2)

结果：

A  B  C
row0  1  2  3
row1  4  5  6
row2  7  8  9
['C']
      A  B
row0  1  2
row1  4  5
row2  7  8

pandas 读csv

pd.read_csv(res_csv_path, encoding="utf-8-sig", sep=",", quotechar="'")

参考：
https://www.cnblogs.com/traditional/p/12514914.html
https://cloud.tencent.com/developer/article/1856554