pandas批量读取带有日期的文件夹简单操作

工作中碰到了这样一个数据处理的问题,想让你把某个文件夹下的子文件夹中的excel表级联成为1张表,用excel来做会很浪费时间并且很劳累,这时候我们就可以用pandas来加大工作效率,只需要半个小时就可以完成,并且修改一下就可复用,场景如下:

每个文件夹下都有若干个数据表

#因为是10到4月份所以第一个列表list1为天数

list1 = [31, 30, 31, 31, 28, 31, 8]

#因为为18年10月份到19年4月份的数据,第二个列表list2为年份
list2 = [8,8,8,9,9,9,9]

#第三个列表list3就是月份了
list3 = [10,11,12,'01','02','03','04']
df1_1 = DataFrame(data=None,columns=['断面类型','断面名称','最大潮流','出现时间','最小潮流','出现时间.1','稳定限额'])
for i in range(len(list1)):
  for j in range(list1[i]):
    if j<9:

      #此处pd.read_excel的参数header = 2的意思是从excel表第二行开始读取
      df1 = pd.read_excel(r'D:/Personal/Desktop/宁夏电网日电能计划平衡表/201{}.{}/201{}.{}.0{}.xls'.format(str(list2[i]),str(list3[i]),str(list2[i]),str(list3[i]),str(j+1)),header=2)
    else:
      df1 = pd.read_excel(r'D:/Personal/Desktop/宁夏电网日电能计划平衡表/201{}.{}/201{}.{}.{}.xls'.format(str(list2[i]),str(list3[i]),str(list2[i]),str(list3[i]),str(j+1)),header=2)
    df1_1 = pd.concat([df1,df1_1])

读取df1_1发现已经级联成功

 

posted @ 2019-04-25 14:55  温祖斌  阅读(447)  评论(0编辑  收藏  举报