Python学习笔记：无数据记录的日期填充

日常工作中，可能遇到每天生产记录的日志数据，但并非每一天都会产生数据，中间可能间隔某几天为空，此时需要生成一个连续时间序列。应该怎么办？

先构造一个连续的时间序列
将日志数据 left join 到生成的序列上

开始实操：

import pandas as pd
import numpy as np
import time, datetime

# 日期序列
dt = pd.DataFrame(pd.date_range('2021-10-1', periods=7, freq='D'))
dt.columns = ['date']
dt
'''
        date
0 2021-10-01
1 2021-10-02
2 2021-10-03
3 2021-10-04
4 2021-10-05
5 2021-10-06
6 2021-10-07
'''

# 待补充数据
# df = pd.read_excel('data.xlsx')
df = pd.DataFrame({'date':['2021-10-1', '2021-10-4', '2021-10-5', '2021-10-7'],
                   'num':[100,200,300,400]})

数据合并：

df_result = pd.merge(dt, df, how='left', on='date')
# ValueError: You are trying to merge on datetime64[ns] and object columns. If you wish to proceed you should use pd.concat

df.date 是 object 类型，而 dt.date 是日期类型，需要进行转换后才可拼接。

infer_datetime_format 参数会尝试将数据类型转换为日期格式。

df['date'] = pd.to_datetime(df['date'], infer_datetime_format=True)
df_result = pd.merge(dt, df, how='left', on='date')
df_result
'''
        date    num
0 2021-10-01  100.0
1 2021-10-02    NaN
2 2021-10-03    NaN
3 2021-10-04  200.0
4 2021-10-05  300.0
5 2021-10-06    NaN
6 2021-10-07  400.0
'''

将 NaN 填充为0。

df_result['num'] = df_result['num'].fillna(0)
df_result
'''
        date    num
0 2021-10-01  100.0
1 2021-10-02    0.0
2 2021-10-03    0.0
3 2021-10-04  200.0
4 2021-10-05  300.0
5 2021-10-06    0.0
6 2021-10-07  400.0
'''