利用pandas随机切分csv文件
把数据集随机切分为训练集和测试集
method 1:
df = pd.read_csv('data/tgnb_merge.csv', encoding='utf-8') df.drop_duplicates(keep='first', inplace=True) # 去重,只保留第一次出现的样本 df_test = df.sample(frac=0.1) df_train = pd.concat([df, df_test], axis=0) # 拼接 df_train.drop_duplicates(keep=False, inplace=True) # 去除所有重复的样本 print df.shape, df_test.shape, df_train.shape # (3045, 12) (305, 12) (2740, 12)
method 2(推荐):
df = pd.read_csv('data/tgnb_merge.csv', encoding='utf-8') # df.drop_duplicates(keep='first', inplace=True) # 去重,只保留第一次出现的样本 df = df.sample(frac=1.0) # 全部打乱 cut_idx = int(round(0.1 * df.shape[0])) df_test, df_train = df.iloc[:cut_idx], df.iloc[cut_idx:] print df.shape, df_test.shape, df_train.shape # (3184, 12) (318, 12) (2866, 12)
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET 9 new features-C#13新的锁类型和语义
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
· 你所不知道的 C/C++ 宏知识
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· 不到万不得已,千万不要去外包
· C# WebAPI 插件热插拔(持续更新中)
· .NET 9 new features-C#13新的锁类型和语义
· 会议真的有必要吗?我们产品开发9年了,但从来没开过会
· 《SpringBoot》EasyExcel实现百万数据的导入导出