Python数据处理（持续更新）
#打开txt文件
#打开txt文件 with open('day02.txt') as f: for line in f.readlines(): aline=line.strip() bline=aline.split(",") print (bline)
数据合并
pd.merge(data,df,on=['appid'])
数据聚合
t_data=list1.groupby(['uid','appid',...]) 按照某列
csv数据合并：
def hebing(): csv_list = glob.glob('*.csv') print(u'共发现%s个CSV文件'% len(csv_list)) print(u'正在处理............') for i in csv_list: fr = open(i,'r').read() with open('t_data.csv','a') as f: f.write(fr) print(u'合并完毕！') def quchong(file): df = pd.read_csv(file,header=0) datalist = df.drop_duplicates() datalist.to_csv(file) if __name__ == '__main__': hebing() quchong("t_data.csv")
读取片段：
df = pd.read_csv("annotations.csv")[0:10]
按照列名读取
data = pd.read_csv('rfm.csv',usecols=['appid','duration','avg_flow'])
要把第三列数据中的0值删除，今天弄了好几个小时，写了个循环，还是不行，最后发现，只要选择数据中大于0的就可以了
data = pd.read_csv('rfm.csv',usecols=['appid','duration','avg_flow']) #读取数据中的3列数据 data=data[data.avg_flow>0]#选择大于0的数据
另一种思路，是把该列中数据为0的值挑出来，然后给赋值成nan，再用下面代码将nan值删除
data.dropna(how='any') #删除有缺失值的行和列
字符串数据转换成数值
这两天想做个推荐模型，但是有一列数据是字符串形式，不好转换，要把它转成数值型进一步处理。对于字符串这种数据类型，主要有以下三种处理方法：
1，通过LabelEncoder来进行快速的转换；
2，通过mapping方式，将类别映射为数值。不过这种方法适用范围有限；
3，通过get_dummies方法来转换。
import pandas as pd from io import StringIO csv_data = '''A，B，C，D 1，2，3，4 5，6，，8 0，11，12，''' df = pd.read_csv(StringIO(csv_data)) print(df) #统计为空的数目 print(df.isnull().sum()) print(df.values) #丢弃空的 print(df.dropna()) print('after'， df) from sklearn.preprocessing import Imputer # axis=0 列 axis = 1 行 imr = Imputer(missing_values='NaN'， strategy='mean'， axis=0) imr.fit(df) # fit 构建得到数据 imputed_data = imr.transform(df.values) #transform 将数据进行填充 print(imputed_data) df = pd.DataFrame([['green'， 'M'， 10.1， 'class1']， ['red'， 'L'， 13.5， 'class2']， ['blue'， 'XL'， 15.3， 'class1']]) df.columns =['color'， 'size'， 'price'， 'classlabel'] print(df) size_mapping = {'XL':3， 'L':2， 'M':1} df['size'] = df['size'].map(size_mapping) print(df) ## 遍历Series for idx， label in enumerate(df['classlabel']): print(idx， label) #1， 利用LabelEncoder类快速编码，但此时对color并不适合， #看起来，好像是有大小的 from sklearn.preprocessing import LabelEncoder class_le = LabelEncoder() color_le = LabelEncoder() df['classlabel'] = class_le.fit_transform(df['classlabel'].values) #df['color'] = color_le.fit_transform(df['color'].values) print(df) #2， 映射字典将类标转换为整数 import numpy as np class_mapping = {label: idx for idx， label in enumerate(np.unique(df['classlabel']))} df['classlabel'] = df['classlabel'].map(class_mapping) print('2，'， df) #3，处理1不适用的 #利用创建一个新的虚拟特征 from sklearn.preprocessing import OneHotEncoder pf = pd.get_dummies(df[['color']]) df = pd.concat([df， pf]， axis=1) df.drop(['color']， axis=1， inplace=True) print(df)
我主要是用了第一种方法，之后将数据导出，完成。
#通过LabelEncoder来进行快速的转换 for idx,label in enumerate(data['uid']): print(idx,label) user_le = LabelEncoder() data['userlabel'] = user_le.fit_transform(data['uid'].values) print(data) data.to_csv(outputfile)
按照条件筛选数据,可以用来查看异常值.
columns=df[5] print(columns[np.abs(columns) > 30])
#删除UID列 df=df.drop('uid',1)
数据标准化处理：
from sklearn import preprocessing#预处理模块 std_scale = preprocessing.StandardScaler().fit(df[['appid','duration','userlabel','applabel','avgflow']]) #加入数据 df_std = std_scale.transform(df[['appid','duration','userlabel','applabel','avgflow']])#转换数据
数组数据存储成csv文件：
np.savetxt('stdata.csv',df_std,delimiter = ',')
将数据每列进行柱状图表示：
f.hist()
plt.show()
虚拟变量(dummy variables)
虚拟变量，也叫哑变量，可用来表示分类变量、非数量因素可能产生的影响。在计量经济学模型，需要经常考虑属性因素的影响。例如，职业、文化程度、季节等属性因素往往很难直接度量它们的大小。只能给出它们的“Yes—D=1”或”No—D=0”，或者它们的程度或等级。为了反映属性因素和提高模型的精度，必须将属性因素“量化”。通过构造0-1型的人工变量来量化属性因素。
pandas提供了一系列分类变量的控制。我们可以用get_dummies来将”prestige”一列虚拟化。
get_dummies为每个指定的列创建了新的带二分类预测变量的DataFrame，在本例中，prestige有四个级别：1，2，3以及4（1代表最有声望），prestige作为分类变量更加合适。当调用get_dummies时，会产生四列的dataframe，每一列表示四个级别中的一个。
在数据处理中，list和dict格式的文件都是不可哈希的，所以将list 格式转换成array
np.array(data)
读取数据确定的几列：
df.ix[:,[1,2,3,4]]
astype 转换字段类型：
import pandas as pd df = pd.DataFrame([{'col1':'a', 'col2':'1'}, {'col1':'b', 'col2':'2'}]) print df.dtypes df['col2'] = df['col2'].astype('int') print '-----------' print df.dtypes df['col2'] = df['col2'].astype('float64') print '-----------' print df.dtypes
python-Pandas学习 如何对数据集随机抽样
利用Pandas库中的sample。
DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)
n是要抽取的行数。（例如n=20000时，抽取其中的2W行）
frac是抽取的比列。（有一些时候，我们并对具体抽取的行数不关系，我们想抽取其中的百分比，这个时候就可以选择使用frac，例如frac=0.8，就是抽取其中80%）
replace：是否为有放回抽样，取replace=True时为有放回抽样。
weights这个是每个样本的权重，具体可以看官方文档说明。
random_state这个在之前的文章已经介绍过了。
axis是选择抽取数据的行还是列。axis=0的时是抽取行，axis=1时是抽取列（也就是说axis=1时，在列中随机抽取n列，在axis=0时，在行中随机抽取n行）
---------------------
作者：kingsam_
来源：CSDN
原文：https://blog.csdn.net/qq_22238533/article/details/71080942
版权声明：本文为博主原创文章，转载请附上博文链接！
