写函数思路
1.dict的反转
#主要思路，不写表达式，在表达式直接放在return def reverse_dict(d): ''' 就是字典的反转，key，value互换，但是注意value不能有重复值 ''' return {value:key for key,value in d.items()}
2.两个集合的笛卡尔积组合
#要记住的是两个for 其实就是一个笛卡尔积，相当于 for i in a ,缩一层循环，for j in b ,这个平时很常见，但是有时理解不了 def dical_set(set1, set2, return_type='string'): ''' 做两个集合的笛卡尔积，做组合时，输出全排列组合 set1, set2, :任意可迭代对象 return_type:str ,'string' 表示把2个元素合并成一个字符串， 以'list' 表示把2个元素放在一个list中 ''' dical = [[i,j] for i in set1 for j in set2] if return_type == 'string': dical = [item[0] + "_" + item[1] for item in dical] return dical dical_set([1,3,4], [7,8,9], return_type='list') #[[1, 7], [1, 8], [1, 9], [3, 7], [3, 8], [3, 9], [4, 7], [4, 8], [4, 9]]
3.展平嵌套列表结构
#去除嵌套的时候，使用的函数的递归，我们需要留意一下什么时候使用递归 def flatten(x): ''' x元素中含有list，我们需要去掉这[] ''' out = [] for i in x: if isinstance(i, (list, tuple)): out.extend(flatten(i)) else: out.append(i) return out flatten([1,2,3,[1,2,3]]) #[1, 2, 3, 1, 2, 3] flatten([1,2,'3',['1','2','3']]) #[1, 2, 3, 1, 2, 3]
4.时间格式的转化
#要注意各类日期表达的方法，以及时间的计算 def date2str(date_obj, sep='-'): ''' 把datetime.date对象转换成日期字符串, 转换的格式由 sep 参数决定 date_obj: datetime.date or datetime.datetime 对象 参数的日期只有一个值 ''' assert sep in ('-','/',''), '仅支持sep 在('-', '/', '')中取值' str_f = '%Y{0}%m{0}%d'.format(sep) date_str = date_obj.strftime(str_f) if pd.notnull(date_obj) else 'NaT' return date_str import datetime as dt a=dt.datetime.now() a #datetime.datetime(2020, 12, 9, 20, 33, 55, 920105) date2str(a) #'2020-12-09'
如果要对某一列日期进行这样的处理，可以使用map函数结合使用，或者是apply使用
5.日期格式的转化
#要注意split和list的配合使用，参数和返回值都是一个值，如果要批量实现，请配合apply或者map一起使用 def str2date(date_str): ''' 将字符串日期转换成datetime.date形式 参数: ------------ date_str: str, 表示日期的字符串。 \n 只要date_str的前 8/10 位表示日期就行，多余的字符串不影响解析； \n 日期格式只能是下列之一： \n '2017-06-01' 格式的日期, \n '2017/06/01' 格式的日期； \n '20170601' 格式的日期。 \n 返回值: ----------- date_obj: datetime.date 对象。""" ''' from datetime import date sep = date_str[4] if sep in ('-','/'): return date(*[int(i) for i in date_str[:10].split(sep)]) else: return date(int(date_str[:4]),int(date_str[4:6]),int(date_str[6:8])) str2date('2020-01-01') #datetime.date(2020, 1, 1) str2date('2020/01/01') #datetime.date(2020, 1, 1) str2date('2020/1/1') #datetime.date(2020, 1, 1) str2date('20200101') #datetime.date(2020, 1, 1) type(str2date('20200101'))
6.计算相关性之后挑选变量
def corr_cut(df_corr): ''' 通过df.corr()之后挑选变量，在变量特别多的时候，就特别重要 返回的挑选之后的表 由于行和列的都是原来的列名，如果发现某个相关值大于0.5，即刻删除后面的变量名所在行以及列 ''' idx = 0 while idx <len(df_corr) -1: for j in range(idx+1,len(df_corr)): if df_corr.iloc[j,idx]>=0.5: col = df_corr.index[j] df_corr.drop(index=col,inplace=True) df_corr.drop(columns=col,inplace=True) break else: idx +=1 return df_corr
7.异常值处理
本次异常值处理是75%-25%分位数的3倍为标准处理，顺便还画出了处理缺失值前后的箱型图
#异常值的出来了，将异常值放到边界里面去 import seaborn as sns import matplotlib.pyplot as plt def due_outliers(data,col_name,scale=3): def due(data_ser,box_scale): ''' data_ser接受的是ser ''' iqr=box_scale*(data_ser.quantile(0.75)-data_ser.quantile(0.25)) #0.75分位数的值-0.25分位数的值 val_low=data_ser.quantile(0.25)-iqr #低于这个值 val_up=data_ser.quantile(0.75) + iqr #高出这个值 data_ser[data_ser < val_low] = val_low #低于临界值改为临界值 data_ser[data_ser > val_up] = val_up #高于临界值修改为临界值 return data_ser #返回修改之后的数据 fig, ax = plt.subplots(1, 2, figsize=(10, 7)) sns.boxplot(y=col_name, data=data, palette="Set1", ax=ax[0]) #某列原来的箱型图 data_n = due(data[col_name], box_scale=scale) data_n = pd.DataFrame(data_n.values,columns=[col_name]) sns.boxplot(y=col_name, data=data_n, palette="Set1", ax=ax[1]) #删除异常值后的箱型图 return data_n #返回删除后的值
批量处理可以这样
#反正就是写for循环 #先copy一份， num_tmp = num_df.copy() for i in list(num_tmp.columns)[5:]: due_outliers(num_tmp,i,scale=3)
