数据清洗与预处理：使用 Python Pandas 库

1. 简介

数据清洗与预处理是数据科学和机器学习中必不可少的步骤。它涉及识别和处理原始数据中的错误、不一致和缺失值，以确保数据的质量和可靠性。Python 的 Pandas 库提供了强大的工具，简化了数据清洗和预处理的过程。

2. 数据加载与探索

使用 pd.read_csv() 或 pd.read_excel() 函数加载数据。
使用 df.head(), df.tail(), df.info() 和 df.describe() 函数探索数据结构和统计信息。

3. 缺失值处理

使用 df.isnull().sum() 统计缺失值数量。
采用以下方法处理缺失值：
- 删除包含缺失值的记录：df.dropna()
- 使用平均值、中位数或众数填充缺失值：df.fillna(value)
- 使用线性插值或其他插值方法填充缺失值：df.interpolate()

4. 错误值处理

使用 df.duplicated() 检测重复值并使用 df.drop_duplicates() 删除重复值。
使用正则表达式或自定义函数验证数据类型和范围。
识别并纠正错误值，例如：
- 使用 df.replace() 替换错误值。
- 使用自定义函数进行数据转换和清洗。

5. 数据格式化与转换

使用 df.astype() 转换数据类型。
使用 pd.to_datetime() 转换日期格式。
使用 pd.cut() 将数值数据分箱。
使用 df.apply() 或 df.transform() 对数据进行自定义操作。

6. 特征工程

创建新的特征来丰富数据。
使用 df.groupby() 和 df.agg() 计算聚合特征。
使用 pd.get_dummies() 或 OneHotEncoder 对分类特征进行编码。

7. 数据存储与导出

使用 df.to_csv() 或 df.to_excel() 保存处理后的数据。

8. 示例代码

import pandas as pd

# 加载数据
df = pd.read_csv('data.csv')

# 探索数据
print(df.head())
print(df.info())

# 处理缺失值
df.fillna(df.mean(), inplace=True)

# 删除重复值
df.drop_duplicates(inplace=True)

# 创建新的特征
df['new_feature'] = df['feature1'] * df['feature2']

# 保存数据
df.to_csv('cleaned_data.csv', index=False)