pandas性能优化

在 Python 中，DataFrame 的内存通常不会在变量不再被引用时立即释放，因为内存的管理依赖于 Python 的垃圾回收机制（garbage collection）。对于大型 DataFrame，可以考虑两种方法：

删除变量并强制垃圾回收

import gc
import pandas as pd

# 构造大数据集
df = pd.DataFrame(...)  # 假设 df 是一个大型 DataFrame

# 数据处理操作
# ...

# 删除变量并触发垃圾回收
del df
gc.collect()

使用其他高效数据框库： 你也可以考虑使用诸如 Modin 或 Dask 的库，这些库在处理大型数据集时会自动进行内存管理和并行化，能够更高效地利用内存。