Python利用pandas拆分大型的csv文件
当将大型CSV文件拆分成较小的文件时,您可以使用Python的Pandas库来处理
导入必要的库
import pandas as pd
定义拆分函数
当定义拆分函数时,我们将在以下步骤中处理CSV文件的拆分
def split_csv(input_file, chunk_size): # 读取CSV文件 dtype_options = {'column9': str, 'column26': str, 'column27': str, 'column28': str} df = pd.read_csv(input_file, dtype=dtype_options, low_memory=False)
首先,我们使用pd.read_csv()
函数从指定的CSV文件中读取数据。在这个例子中,我们还为某些列指定了数据类型选项,以确保正确解析这些列的内容。您可以根据实际情况调整这些选项。
接下来,我们需要计算拆分数据框的次数:
num_chunks = len(df) // chunk_size + 1
我们使用len(df)
获取数据框中的总行数,并通过将其除以拆分大小并向上取整来计算拆分的次数。
然后,我们进行实际的拆分操作,并将每个拆分后的数据框保存为单独的CSV文件:
for i in range(num_chunks): start_idx = i * chunk_size end_idx = (i + 1) * chunk_size chunk_df = df.iloc[start_idx:end_idx] output_file = f'output_chunk_{i + 1}.csv' chunk_df.to_csv(output_file, index=False)
在循环中,我们按照拆分大小切片数据框,并将切片后的数据框保存为一个命名为 output_chunk_{i + 1}.csv
的CSV文件。这里使用了格式化字符串以便为每个拆分文件指定一个唯一的编号。
调用拆分函数
if __name__ == "__main__": # 定义输入文件和拆分大小 input_file = r'C:\Users\Administrator\Desktop\数据核对\Result_19.csv' chunk_size = 500000 # 调用拆分函数 split_csv(input_file, chunk_size)
完整代码
import pandas as pd def split_csv(input_file, chunk_size): # 读取CSV文件 dtype_options = {'column9': str, 'column26': str, 'column27': str, 'column28': str} df = pd.read_csv(input_file, dtype=dtype_options, low_memory=False) # 计算拆分的次数 num_chunks = len(df) // chunk_size + 1 # 拆分数据框并保存为多个CSV文件 for i in range(num_chunks): start_idx = i * chunk_size end_idx = (i + 1) * chunk_size chunk_df = df.iloc[start_idx:end_idx] output_file = f'output_chunk_{i + 1}.csv' chunk_df.to_csv(output_file, index=False) if __name__ == "__main__": # 替换以下行中的文件名和拆分大小 input_file = r'C:\Users\Administrator\Desktop\数据核对\Result_19.csv' chunk_size = 500000 split_csv(input_file, chunk_size)
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
2021-12-08 如何查看电脑IP地址