摘要:
shuf命令简单用法 背景:需要将一个文件的内容按照行进行打乱顺序;需要从一个大文件中随机获取多少行的内容,除了python脚本处理以外,一些shell命令也可以更快捷的做到 shuf命令详解 bash-4.1$ shuf --help Usage: shuf [OPTION]... [FILE] 阅读全文
摘要:
python获取大文件行数 背景:处理一些日志或者请求数据时,几百万行的数据,有时候在做性能测试任务时估算出大概需要的词表数,需要一定行数的数据,需要提前看下原始文件大小,在这记一下,的确比较快 代码如下: # 获取文件行数,一块一块读取 def get_file_lines(filePath): 阅读全文