大数据案例分析--日志分析--数据清洗

开始的日期格式转化是如此操作的：采用python进行清洗数据，用到了正则表达式

首先获取原先的result.txt将这份文件复制到pycharm的一个项目中，然后新建一个py文件写入下面代码

 

 

import re
from datetime import datetime

# 读取文件
with open('result.txt', 'r') as file:
    data = file.read()

# 使用正则表达式查找日期时间字符串
pattern = r'(\d{2}/[A-Za-z]{3}/\d{4}:\d{2}:\d{2}:\d{2} \+\d{4})' #这里的/ 是个分隔符，正则表达式的内容形似原来日期格式{}里面的是每一个有几位
matches = re.findall(pattern, data)

# 将匹配的日期时间字符串转换为所需的格式
for match in matches:
    # 解析原日期时间字符串
    old_date = datetime.strptime(match, '%d/%b/%Y:%H:%M:%S %z')

    # 格式化新日期时间字符串
    new_date = old_date.strftime('%Y-%m-%d %H:%M:%S')

    # 将原字符串替换为新字符串
    data = data.replace(match, new_date)

# 将修改后的数据写回文件
with open('result1.txt', 'w') as file:
    file.write(data)