pandas常用操作方法
- 指定列中进行字段替换
df['tradeDate'] = df["tradeDate"].apply(lambda x: x.replace("-", ""))
- 获取df中ticker(不)在df_halt["ticker"]的数据.
df = df[~df["ticker"].isin(df_halt["ticker"].tolist())]
- 获取ticker列中首字母为0,3,6的数据
df_list = df_list[(df_list["ticker"].str.slice(0, 1) == '0') | (df_list["ticker"].str.slice(0, 1) == '3') | (df_list["ticker"].str.slice(0, 1) == '6')]
- (列)重复值处理,subset=["ticker"]指定列,keep='first'保留第一个值,inplace=True对原集合进行修改.
df_halt.drop_duplicates(subset=["ticker"], keep='first', inplace=True)
- 统计非缺失值格式,axis=0列,axis=1行,
df_count = df.count(axis=0, level=None, numeric_only=False)
- 每列缺失值个数
df.shape[0] - df.count()
- 将指定列设置为单索引
df.set_index(df["ticker"], inplace=True)
- 将指定多列设置为复合索引
df.set_index([df["ticker"], df["exchange_cd"]], inplace=True)
- 重设索引变为默认的整型索引.
df_count.reset_index(inplace=True)
- 对列重命名
df_count.rename(columns={0: u"实际总数", "index": u'因子名'}, inplace=True)
- 设置列名(与原数据列数相同最佳)
pd.columns = ['name', 'type', 'compare', 'target']
- eval关系(运算)处理:
#(VDIFF - VDEA) * 2.0 = VMACD # VOL15 - VOL5 = DAVOL
factor_list = [str for str in r if str.isalpha() or str.isalnum()] factor_list = list(set(factor_list)) exp = np.where([str.isalpha() or str.isalnum() for str in r], ["judge['%s']" % str for str in r], r) exp = ''.join(exp) exp = exp.replace('=', '-') exp = exp + '<1e-3' judge = factor_df[factor_list] # judge = judge.dropna() judge['flag'] = eval(exp) judge = judge[~judge['flag']]
- 比较两列差值是否在规定范围,同时为Nan时视为True
tag_pd["flag"] = (abs(tag_pd["LocalValue"] - tag_pd[cross_name]) <= check_tag) | (
(tag_pd["LocalValue"].isnull().values == True) &
(tag_pd[cross_name].isnull().values == True)
- 剔除空数据
fd.dropna(inplace=True)
- join连接,how='outer'获取并集,使用Nan进行填充;'inner'获取交集; ,left/right,左右连接; 默认为left.
cross_fd = cross_fd.join(factor_df_only, how='outer')
- 数据集连接,how='outer'获取并集,使用Nan进行填充;'inner'获取交集; ,left/right,左右连接; 默认为 inner.
来源"https://www.cnblogs.com/xk-bench/p/8379180.html"
- left与right：两个不同的DataFrame
- how：指的是合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接);默认为inner
- on : 指的是用于连接的列索引名称。必须存在右右两个DataFrame对象中，如果没有指定且其他参数也未指定则以两个DataFrame的列名交集做为连接键
- left_on：左则DataFrame中用作连接键的列名;这个参数中左右列名不相同，但代表的含义相同时非常有用。
- right_on：右则DataFrame中用作 连接键的列名
- left_index：使用左则DataFrame中的行索引做为连接键
- right_index：使用右则DataFrame中的行索引做为连接键
- sort：默认为True，将合并的数据进行排序。在大多数情况下设置为False可以提高性能
- suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为('_x','_y')
- copy：默认为True,总是将数据复制到数据结构中；大多数情况下设置为False可以提高性能
- indicator：在 0.17.0中还增加了一个显示合并数据中来源情况；如只来自己于左边(left_only)、两者(both)
cross_fd = cross_fd.merge(factor_df_only, how='outer')
- 设置列属性
tag_pd['LocalValue'] = tag_pd['LocalValue'].astype('float')
///////
基本常用的.
