python pandas csv 大文件 DataFrame转换为List

python 将大文件读取为 DataFrame 时，直接对整个文件进行读取会比较耗时，甚至内存还会不足。

https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#reading-multiple-files-to-create-a-single-dataframe

这里使用指定 chunksize 指定分块大小，也就是分批读取。

复制代码

import pandas as pd

# pandas 读取csv大文件，指定分块大小
csv_data = pd.read_csv('2021-11.csv', chunksize=1)

for item in csv_data:
    # DataFrame 转换为 List
    data = item.values.tolist()
    print(data)
    break

# [[657397242, 4287.48, 0.238, 1020.42024, 1635724800369, False, True]]

遍历 csv_data 时，每个 item 将会是你分块元素的大小，如果需要将 Dataframe 转换成列表，可以直接使用 Dataframe.values.tolist() 转换成列表