对文本行进行行宽限制

从网络收集的文本各种各样，难免有垃圾数据，每行长度不一样，由于垃圾数据，导致导入MYSQL的时候导入速度缓慢，对导入缓慢的文本可以使用文本软件打开看看里面是否包含一些空白行

如图

 

处理办法

对最后去重后的文件进行fold 限制每行长度为300

 

 

将一个名为testfile 的文件的行折叠成宽度为300，可使用如下命令：
语法

fold [-bs][-w<每列行数>][--help][--version][文件...]

参数：

    -b或--bytes 以Byte为单位计算列宽，而非采用行数编号为单位。
    -s或--spaces 以空格字符作为换列点。
    -w<每列行数>或--width<每列行数> 设置每列的最大行数。
    --help 在线帮助。
    --version 显示版本信息。

$fold -w 300 testfile.txt > new.txt