python处理换行符
当前我的场景是数据中存在大量样本,内容差异仅在于换行符,导致去重的时候,两者都被保留了下来,非我所愿。
几经测试,对于pandas的dataframe,可以使用下面的方式去除换行符
df = df.replace(’\n’,’’, regex=True)
一般情况下的文本也是可以如此处理
当前我的场景是数据中存在大量样本,内容差异仅在于换行符,导致去重的时候,两者都被保留了下来,非我所愿。
几经测试,对于pandas的dataframe,可以使用下面的方式去除换行符
df = df.replace(’\n’,’’, regex=True)
一般情况下的文本也是可以如此处理
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端