文件的存储
1 format()
形如str.format()
,format中的内容用于代替str中的 {} 和
:
当读取的文件较大需要分开存储时可用此函数对其编号
1 >>>"{} {}".format("hello", "world") # 不设置指定位置,按默认顺序
2 'hello world'
3
4 >>> "{0} {1}".format("hello", "world") # 设置指定位置
5 'hello world'
6
7 >>> "{1} {0} {1}".format("hello", "world") # 设置指定位置
8 'world hello world'
参考:https://blog.csdn.net/zhchs2012/article/details/84328742
2 存储文件时默认存储在当前程序所在的目录下,也可用 .//newfilewalk 表示存储在当前目录的newfilewalk下
若没有newfilewalk文件夹会报错,要提前新建
data_xls.to_csv('.\\chengji\\化学.csv', encoding='utf-8')
3 若在一个程序中后面要读前面存储下的文件,此时前面用to_csv()存储时要加上index=False,此时便不会存储索引列,否则在程序后面容易出现列数不对应的错误
4 to_csv()函数
参数: mode: 默认是'w',即写数据,当想要将数据追加写入文件后面时用mode='a+',这个时候一定要注意header=None,否则会将列名也写入文件中,后续处理很容易出错,出错了只能用二分法找了.
app_actived_train = pd.read_csv('./labelencoder_file/app_actived_train.csv', iterator=True) pieceID = 1 loop = True while loop: try: df = app_actived_train.get_chunk(100000) # 10万 df.columns = ['index', 'uid', 'appid'] df1 = df['uid'] df1 = pd.DataFrame(df1) df = df['appid'].str.split('#', expand=True).stack().reset_index(level=1, drop=True).rename('appid') df = {'index': df.index, 'appid': df.values} df = pd.DataFrame(df) df = pd.merge(df1, df, left_index=True, right_on='index', how='left') df.to_csv('./labelencoder_file/app_actived_train.csv', mode='a+', index=False, header=None) print(pieceID * 100000) pieceID += 1 del df, df1 except StopIteration: loop = False print('imps_log process finish!')
5 hdf5格式的存储
如下写入和读取的时候必须要写后面的参数key,它是用于给数据分组的组名,当要往h5格式的数据中写数据式时,每次的key不能相同.
官网链接:http://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_hdf.html
df.to_hdf('a.h5','df') pd.read_hdf('a.h5','df')
6 txt文件的创建和存储
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
# 创建一个txt文件,文件名为mytxtfile,并向文件写入msg
def text_create(name, msg):
desktop_path = "C:\\Users\\Administrator\\Desktop\\" # 新创建的txt文件的存放路径
full_path = desktop_path + name + '.txt' # 也可以创建一个.doc的word文档
file = open(full_path, 'w')
file.write(msg) #msg也就是下面的Hello world!
# file.close()
text_create('mytxtfile', 'Hello world!')
# 调用函数创建一个名为mytxtfile的.txt文件,并向其写入Hello world!