pandas用到的知识点总结
pandas中文学习官网地址
我自己用到的知识点汇总
基础版：
dates = pd.date_range('20130101', periods=6) # rows index --6 df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD')) # columns index --4 df['A'][dates[3]] # df[columns][rows] use index get item df.sort_values(by='开发计划开始时间') # by后面是column列名，这是根据列里面是值进行排序。 df.tail(2) # 获取后面两条数据 df.head(2) # 获取前面两条数据 如下是两种取值方式，df[-1:]得到的是dataframe类型，用loc得到的是series类型，取的都是同样的数据，但是格式不同。 third_row = df[3:4] type(third_row) Out[117]: pandas.core.frame.DataFrame third_row Out[120]: a b c 2013-01-04 0.31441 -0.379357 -0.508348 np_float_obj = third_row['a'][0] # 同下 third_row.iloc[0][0] # 这样就是拿到了real值，int，str，float等等之类的，可以用python直接操作 third_loc_row = df.loc[dates[3]] type(third_loc_row) Out[119]: pandas.core.series.Series third_loc_row Out[121]: a 0.314410 b -0.379357 c -0.508348 Name: 2013-01-04 00:00:00, dtype: float64 np_float_obj = third_loc_row[0] # series类型支持索引直接取值，就跟list取值一样，拿到real值，用python操作。
进阶版：
pandas 二级列头转成一级列头
first_col_title = df.iloc[0] # 提取第一行列头
repeat_second_title = df.set_axis(first_col_title, axis=1, inplace=False) # 把第二行列头直接复制给第一行列头，第一行的原有列头就被删除了
reset_col_title_df = repeat_second_title.drop(index=0) # 再把重复的第一行跟第二行列头，任意删除一行即可，这里删除的第一行
在dataframe里面直接用坐标取值方法：df.iloc[0][0]
df.loc['20130104':'20130105', ['A', 'B']] # 根据具体列名和行名来切片
df.iloc[3:5, 0:2] # 根据坐标来切片，同上得到一样的切片数据结果
df.iloc[[1, 2, 4], [0, 2]] # 行，列坐标分别取值
df.iloc[1:3, :] # ，前后分别是row，column坐标值
df.iloc[:, 1:3] # 同上
df.iloc[1,1]=df.iat[1,1]=df.iloc[1][1] # 这三种方法，得到的type以及value都是一样的。
df[df > 0] # 满足条件的值会显示出来，不满足条件的就是NaN补位
list(Series) # 可以把series转换成list类型
如下是赋值方法：
df.at[dates[0], 'A'] = 0
df.loc[0, 'A'] = 'hello'
df.iat[0, 1] = 2020
df.iloc[0, 0] = 2021
字符串方法：
s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s[s.str.contains("g", na=True)] # contains过滤出来有‘g’的元素，如果遇到NaN给它赋值为True，过滤的时候保留，contains的参数可以是正则表达式
df = pd.DataFrame(np.random.randn(10, 4))
pieces = [df_merge[:3], df_merge[3:4], df_merge[8:]]
pd.concat(pieces) # 这里是把上面pieces的list里面的3个dataframe串联到一个dataframe里面
df.append(pieces) # 这里用到了append方法，df.append(pieces, ignore_index=True)，就是把两个具有相同列的dataframe合并成一个dataframe，跟concat是一样的结果。
left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
pd.merge(left, right, on='key') # 把两个dataframe合并，根据key列来合并到一个dataframe里面
df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])
s = df.iloc[3]
h_2 = df.head(2)
df.append(s, ignore_index=True)
df.append(h_2, ignore_index=True) # append可以追加Series也可以追加dataframe两种格式
df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar',
....: 'foo', 'bar', 'foo', 'foo'],
....: 'B': ['one', 'one', 'two', 'three',
....: 'two', 'two', 'one', 'three'],
....: 'C': np.random.randn(8),
....: 'D': np.random.randn(8)})
df.groupby('A').sum() # 根据A列分组，然后把分组的结果求和
df.groupby(['A', 'B']).sum() # 也可以根据多列分组，分别求和
df.columns # 获取的是一个类似这样的["name", "age"]，表头列表，可以用索引取值，拿到每个表头字符串
df.iterrows() # 获取的是一个生成器，需要用next取值，或者循环取值，拿到每一列的数据，包括列的索引值，每列数据放在tuple里面
whole_df[whole_df['PCSID'].isin(
left_no_matched_whole_data
)
] # 拿到一列数据，去跟其他数据格式比对，匹配的结果，就拿到所有列的完整的dataFrame。
# df[(df["B"].map(lambda x: x >= "0.96_01")) & (
# df["A"].isin(["a1", ]) == False)] # 利用lambda函数来写自定义函数
pandas-dataframe-ffill功能可以填充合并单元格，前提是，没有这个参数-keep_default_na=False，就用这个参数它默认的值True即可.
如下，从dataframe里面，拿到name列，这列里面都是字符串，该列的每一个值都包含A-Za-z0-9元素，有11个满足此正则条件的元素。
df[df["name"].str.contains(r"[A-Za-z0-9]{11}")]
df = df[df["name"].str.startswith("J")==True] # 这里把name列里面所有J开头的元素，提取出来。同理endswith也适用，False就是取反向值
df["name"] = df["name"].str.replace("he", "she") # 这里是把name列值里面的指定字符串替换成你想要替换的字符串
dataFrame数据类型转换：df["a"].astype("string") # "object"|"float"|"int"|"bool", if the column got NaN|NaT|NAN .etc then turn type will failed
dataFrame追加一行数据：append---df.append({"a":"hello", "b":"world"}, ignore_index=True) # df.index==["a", "b",]
Pandas替换空值｜缺失值，用fillna；df = df.fillan("")|df = df.fillna(0)
以上是把空值替换成空字符串或者0，此时是需要返回值的，因为它是在源数据基础上copy一份数据，进行替换。
df.fillan("", inplace=True) # 这是在源数据上进行替换，返回值就是None。
Pandas，把多个dataframe，连接成一个：根据指定列合并，外连接，把相同不相同的数据都保留拼接到一起，缺失的用空值代替。
from functools import reduce
df_li = [df1,df2,df3]
merge_df = reduce(lambda right, left:pandas.merge(right, left, how="outer", on="column_name"), df_li)
# 指定列顺序
from pandas.api.types import CategoricalDtype
cat_size_order = CategoricalDtype( ['XS', 'S', 'M', 'L', 'XL'], ordered=True )
df['size'] = df['size'].astype(cat_size_order)
下面是收藏的一个博客地址，转载的。关于给衣服尺寸，星期，月份，设置排序参数。
https://www.cnblogs.com/panchuangai/p/13907232.html
PS：我目前只是用到了pandas处理数据，还没有用到numpy，后续有numpy的需求，再补充进来。
