#Python 利用pandas 合并csv/xlsx文件

  上次我们分享了利用powerquery来合并文件进行数据分析,但是Pq有一部分局限性,在现实工作中,我们往往需要合并多个文件去处理数据,

如果面对20个甚至更多的文件,pq中的每一步的步骤都会去读取每个文件,运行速度会十分慢,那么有没有简单的解决方法吗?

答案是:可以考虑合并成一个文件后来处理。

我们用py来合并文件后,输出一个大的csv表,然后利用Py或者pq进行处理,这样就可以大量节省时间,提高效率,今天我们就分享,py合并文件板块。

第一步:导入pandas,和os库

 import pandas as pd
 import os

第二步:设置路径

路径 = r'C:\Users\Administrator\Desktop\test/'#合并文件所在的文件路径,最后一个反斜杠不能被转义所以必须反斜杠,下次更换合并地址的话,直接更改就好,同样需要注意最后的反斜杠号
目的路径=r'C:/Users/Administrator/Desktop/合并230115.csv'#存放地址

第三步:合并文件,这里先用for循环配合os.listdir获取了指定文件夹的全部文件路径,然后用concat合并了文件

路径 = r'C:\Users\Administrator\Desktop\test/'
合并表 = pd.DataFrame()
for 文件名 in os.listdir(路径):
    表格 = pd.read_csv(路径+文件名,encoding='gbk')
    合并表 = pd.concat([合并表,表格])
print(合并表)

第四步:将合并好的文件输出到指定路径

合并表.to_csv(目的路径)  

来到这里,就完成了全部操作,本文的变量是中文变量,不影响使用,目的是便于新手(博主也是新手)学习,能更快的用到工作中。

我是simone,期待下次的分享。(下次会分享pandas中的透视表功能,可以配合今天的文章,来处理合并文件,直接输出有些数据分析的结果)

posted @ 2023-01-15 21:13  simone331  阅读(447)  评论(0编辑  收藏  举报