python pandas numpy matplotlib 常用方法及函数
import numpy as np import pandas as pd import matplotlib.pyplot as plt ---------------numpy----------------------- arr = np.array([1,2,3], dtype=np.float64) np.zeros((3,6)) np.empty((2,3,2)) np.arange(15) arr.dtype arr.ndim arr.shape arr.astype(np.int32) #np.float64 np.string_ np.unicode_ arr * arr arr - arr 1/arr arr= np.arange(32).reshape((8,4)) arr[1:3, : ] #正常切片 arr[[1,2,3]] #花式索引 arr.T arr.transpose((...)) arr.swapaxes(...) #转置 arr.dot #矩阵内积 np.sqrt(arr) np.exp(arr) randn(8)#正态分布值 np.maximum(x,y) np.where(cond, xarr, yarr) #当cond为真,取xarr,否则取yarr arr.mean() arr.mean(axis=1) #算术平均数 arr.sum() arr.std() arr.var() #和、标准差、方差 arr.min() arr.max() #最小值、最大值 arr.argmin() arr.argmax() #最小索引、最大索引 arr.cumsum() arr.cumprod() #所有元素的累计和、累计积 arr.all() arr.any() # 检查数组中是否全为真、部分为真 arr.sort() arr.sort(1) #排序、1轴向上排序 arr.unique() #去重 np.in1d(arr1, arr2) #arr1的值是否在arr2中 np.load() np.loadtxt() np.save() np.savez() #读取、保存文件 np.concatenate([arr, arr], axis=1) #连接两个arr,按行的方向 ---------------pandas----------------------- ser = Series() ser = Series([...], index=[...]) #一维数组, 字典可以直接转化为series ser.values ser.index ser.reindex([...], fill_value=0) #数组的值、数组的索引、重新定义索引 ser.isnull() pd.isnull(ser) pd.notnull(ser) #检测缺失数据 ser.name= ser.index.name= #ser本身的名字、ser索引的名字 ser.drop('x') #丢弃索引x对应的值 ser +ser #算术运算 ser.sort_index() ser.order() #按索引排序、按值排序 df = DataFrame(data, columns=[...], index=[...]) #表结构的数据结构,既有行索引又有列索引 df.ix['x'] #索引为x的值 对于series,直接使用ser['x'] del df['ly'] #用del删除第ly列 df.T #转置 df.index.name df.columns.name df.values df.drop([...]) df + df df1.add(df2, fill_vaule=0) #算术运算 df -ser #df与ser的算术运算 f=lambda x: x.max()-x.min() df.apply(f) df.sort_index(axis=1, ascending=False) #按行索引排序 df.sort_index(by=['a','b']) #按a、b列索引排序 ser.rank() df.rank(axis=1) #排序,增设一个排名值 df.sum() df.sum(axis=1) #按列、按行求和 df.mean(axis=1, skipna=False) #求各行的平均值,考虑na的存在 df.idxmax() #返回最大值的索引 df.cumsum() #累计求和 df.describe() ser.describe() #返回count mean std min max等值 ser.unique() #去重 ser.value_counts() df.value_counts() #返回一个series,其索引为唯一值,值为频率 ser.isin(['x', 'y']) #判断ser的值是否为x,y,得到布尔值 ser.dropna() ser.isnull() ser.notnull() ser.fillna(0) #处理缺失数据,df相同 df.unstack() #行列索引和值互换 df.unstack().stack() df.swaplevel('key1','key2') #接受两个级别编号或名称,并互换 df.sortlevel(1) #根据级别1进行排序,df的行、列索引可以有两级 df.set_index(['c','d'], drop=False) #将c、d两列转换为行,因drop为false,在列中仍保留c,d read_csv read_table read_fwf #读取文件分隔符为逗号、分隔符为制表符('\t')、无分隔符(固定列宽) pd.read_csv('...', nrows=5) #读取文件前5行 pd.read_csv('...', chunksize=1000) #按块读取,避免过大的文件占用内存 pd.load() #pd也有load方法,用来读取二进制文件 pd.ExcelFile('...xls').parse('Sheet1') # 读取excel文件中的sheet1 df.to_csv('...csv', sep='|', index=False, header=False) #将数据写入csv文件,以|为分隔符,默认以,为分隔符, 禁用列、行的标签 pd.merge(df1, df2, on='key', suffixes=('_left', '_right')) #合并两个数据集,类似数据库的inner join, 以二者共有的key列作为键,suffixes将两个key分别命名为key_left、key_right pd.merge(df1, df2, left_on='lkey', right_on='rkey') #合并,类似数据库的inner join, 但二者没有同样的列名,分别指出,作为合并的参照 pd.merge(df1, df2, how='outer') #合并,但是是outer join;how='left'是笛卡尔积,how='inner'是...;还可以对多个键进行合并 df1.join(df2, on='key', how='outer') #也是合并 pd.concat([ser1, ser2, ser3], axis=1) #连接三个序列,按行的方向 ser1.combine_first(ser2) df1.combine_first(df2) #把2合并到1上,并对齐 df.stack() df.unstack() #列旋转为行、行旋转为列 df.pivot() df.duplicated() df.drop_duplicates() #判断是否为重复数据、删除重复数据 df[''].map(lambda x: abs(x)) #将函数映射到df的指定列 ser.replace(-999, np.nan) #将-999全部替换为nan df.rename(index={}, columns={}, inplace=True) #修改索引,inplace为真表示就地修改数据集 pd.cut(ser, bins) #根据面元bin判断ser的各个数据属于哪一个区段,有labels、levels属性 df[(np.abs(df)>3).any(1)] #输出含有“超过3或-3的值”的行 permutation take #用来进行随机重排序 pd.get_dummies(df['key'], prefix='key') #给df的所有列索引加前缀key df[...].str.contains() df[...].str.findall(pattern, flags=re.IGNORECASE) df[...].str.match(pattern, flags=...) df[...].str.get() #矢量化的字符串函数 ----绘图 ser.plot() df.plot() #pandas的绘图工具,有参数label, ax, style, alpha, kind, logy, use_index, rot, xticks, xlim, grid等,详见page257 kind='kde' #密度图 kind='bar' kind='barh' #垂直柱状图、水平柱状图,stacked=True为堆积图 ser.hist(bins=50) #直方图 plt.scatter(x,y) #绘制x,y组成的散点图 pd.scatter_matrix(df, diagonal='kde', color='k', alpha='0.3') #将df各列分别组合绘制散点图 ----聚合分组 groupby() 默认在axis=0轴上分组,也可以在1组上分组;可以用for进行分组迭代 df.groupby(df['key1']) #根据key1对df进行分组 df['key2'].groupby(df['key1']) #根据key1对key2列进行分组 df['key3'].groupby(df['key1'], df['key2']) #先根据key1、再根据key2对key3列进行分组 df['key2'].groupby(df['key1']).size() #size()返回一个含有分组大小的series df.groupby(df['key1'])['data1'] 等价于 df['data1'].groupby(df['key1']) df.groupby(df['key1'])[['data1']] 等价于 df[['data1']].groupby(df['key1']) df.groupby(mapping, axis=1) ser(mapping) #定义mapping字典,根据字典的分组来进行分组 df.groupby(len) #通过函数来进行分组,如根据len函数 df.groupby(level='...', axis=1) #根据索引级别来分组 df.groupby([], as_index=False) #禁用索引,返回无索引形式的数据 df.groupby(...).agg(['mean', 'std']) #一次使用多个聚合函数时,用agg方法 df.groupby(...).transform(np.mean) #transform()可以将其内的函数用于各个分组 df.groupby().apply() #apply方法会将待处理的对象拆分成多个片段,然后对各片段调用传入的函数,最后尝试将各片段组合到一起 ----透视交叉 df.pivot_table(['',''], rows=['',''], cols='', margins=True) #margins为真时会加一列all pd.crosstab(df.col1, df.col2, margins=True) #margins作用同上 ---------------matplotlib--------------- fig=plt.figure() #图像所在的基对象 ax=fig.add_subplot(2,2,1) #2*2的图像,当前选中第1个 fig, axes = plt.subplots(nrows, nclos, sharex, sharey) #创建图像,指定行、列、共享x轴刻度、共享y轴刻度 plt.subplots_adjust(left=None, bottom=None, right=None, top=None, wspace=None, hspace=None) #调整subplot之间的距离,wspace、hspace用来控制宽度、高度百分比 ax.plot(x, y, linestyle='--', color='g') #依据x,y坐标画图,设置线型、颜色 ax.set_xticks([...]) ax.set_xticklabels([...]) #设置x轴刻度 ax.set_xlabel('...') #设置x轴名称 ax.set_title('....') #设置图名 ax.legend(loc='best') #设置图例, loc指定将图例放在合适的位置 ax.text(x,y, 'hello', family='monospace', fontsize=10) #将注释hello放在x,y处,字体大小为10 ax.add_patch() #在图中添加块 plt.savefig('...png', dpi=400, bbox_inches='tight') #保存图片,dpi为分辨率,bbox=tight表示将裁减空白部分 ------------------------------------------ from mpl_toolkits.basemap import Basemap import matplotlib.pyplot as plt #可以用来绘制地图 -----------------时间序列-------------------------- pd.to_datetime(datestrs) #将字符串型日期解析为日期格式 pd.date_range('1/1/2000', periods=1000) #生成时间序列 ts.resample('D', how='mean') #采样,将时间序列转换成以每天为固定频率的, 并计算均值;how='ohlc'是股票四个指数; #重采样会聚合,即将短频率(日)变成长频率(月),对应的值叠加; #升采样会插值,即将长频率变为短频率,中间产生新值 ts.shift(2, freq='D') ts.shift(-2, freq='D') #后移、前移2天 now+Day() now+MonthEnd() import pytz pytz.timezone('US/Eastern') #时区操作,需要安装pytz pd.Period('2010', freq='A-DEC') #period表示时间区间,叫做时期 pd.PeriodIndex #时期索引 ts.to_period('M') #时间转换为时期 pd.rolling_mean(...) pd.rolling_std(...) #移动窗口函数-平均值、标准差