linux系统中如何将多行数据转化为一行数据

1、利用xargs进行行列转换 

[root@linuxprobe test2]# seq 5
1
2
3
4
5
[root@linuxprobe test2]# seq 5 | xargs ## xargs 默认转化为1行
1 2 3 4 5
[root@linuxprobe test2]# seq 5000 | xargs | wc -l  
1
[root@linuxprobe test2]# seq 50000 | xargs | wc -l  ## 当行数过多时，xargs不适用
3

 

2、数据有多列数据时xargs仍然适用

[root@linuxprobe test2]# paste <(seq 6) <(seq 6) <(seq 6) > a.txt ## 创建测试数据
[root@linuxprobe test2]# cat a.txt
1       1       1
2       2       2
3       3       3
4       4       4
5       5       5
6       6       6
[root@linuxprobe test2]# cat a.txt | xargs  ## xargs将数据自左至右排成一行
1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6

[root@linuxprobe test2]# paste <(seq 60000) <(seq 60000) <(seq 60000) > b.txt ## 创建较大的测试数据
[root@linuxprobe test2]# ls
b.txt
[root@linuxprobe test2]# wc -l b.txt
60000 b.txt
[root@linuxprobe test2]# head b.txt
1       1       1
2       2       2
3       3       3
4       4       4
5       5       5
6       6       6
7       7       7
8       8       8
9       9       9
10      10      10
[root@linuxprobe test2]# cat b.txt | xargs | wc -l  ## 数据较大时不能转化为一行
8

 

3、xargs可以指定输出的列数

[root@linuxprobe test2]# seq 10 | xargs
1 2 3 4 5 6 7 8 9 10
[root@linuxprobe test2]# seq 10 | xargs -n 2  ##利用 -n 参数指定输出的列数
1 2
3 4
5 6
7 8
9 10
[root@linuxprobe test2]# seq 10 | xargs -n 3
1 2 3
4 5 6
7 8 9
10
[root@linuxprobe test2]# seq 10 | xargs -n 4
1 2 3 4
5 6 7 8
9 10

[root@linuxprobe test2]# seq 1000000 | xargs -n 2000 | awk '{print NF}' | head -n 3  ## 指定列数，并查看列数
2000
2000
2000
[root@linuxprobe test2]# seq 1000000 | xargs -n 20000 | awk '{print NF}' | head -n 3
20000
20000
20000
[root@linuxprobe test2]# seq 1000000 | xargs -n 200000 | awk '{print NF}' | head -n 3  ## 当指定的列数较多时不适用
23695
21844
21844

 

4、利用sed命令将多行转化为一行

[root@linuxprobe test2]# seq 10 > a.txt
[root@linuxprobe test2]# cat a.txt
1
2
3
4
5
6
7
8
9
10
[root@linuxprobe test2]# sed 'N;s/\n/ /' a.txt  ##N可以实现将两行按照一行处理，将换行符\n替换为空格
1 2
3 4
5 6
7 8
9 10
[root@linuxprobe test2]# sed ':a; N;s/\n/ /; ta' a.txt  ## 利用sed的跳转功能
1 2 3 4 5 6 7 8 9 10

[root@linuxprobe test2]# seq 100000 > a.txt
[root@linuxprobe test2]# wc -l a.txt
100000 a.txt
[root@linuxprobe test2]# time sed ':a; N;s/\n/ /; ta;' a.txt | wc -l  ## 不受数据行数限制；但是随行数增加，耗时，行数多慎用
1

real    0m28.725s
user    0m28.642s
sys     0m0.005s

[root@linuxprobe test2]# paste <(seq 100) <(seq 100) <(seq 100) > a.txt
[root@linuxprobe test2]# wc -l a.txt
100 a.txt
[root@linuxprobe test2]# head -n 2 a.txt
1       1       1
2       2       2
[root@linuxprobe test2]# time sed ':a; N;s/\n/ /; ta;' a.txt | wc -l  ## 数据有多列的情况同样适用
1

real    0m0.002s
user    0m0.000s
sys     0m0.003s

 

5、利用tr命令将多行数据转化为一行

[root@linuxprobe test2]# seq 10 > a.txt
[root@linuxprobe test2]# cat a.txt
1
2
3
4
5
6
7
8
9
10
[root@linuxprobe test2]# cat a.txt | tr "\n" " "  ## 利用tr将换行符替换为空格，但是末尾没有换行符
1 2 3 4 5 6 7 8 9 10 [root@linuxprobe test2]#
[root@linuxprobe test2]# cat a.txt | tr "\n" " " | sed 's/$/\n/' ## 利用sed命令在末尾添加换行符
1 2 3 4 5 6 7 8 9 10

[root@linuxprobe test2]# time seq 100000 | tr "\n" " " | sed 's/$/\n/' | wc -l  ## 测试多行，测试耗时
1

real    0m0.003s
user    0m0.002s
sys     0m0.005s
[root@linuxprobe test2]# time seq 1000000 | tr "\n" " " | sed 's/$/\n/' | wc -l
1

real    0m0.018s
user    0m0.012s
sys     0m0.019s
[root@linuxprobe test2]# time seq 10000000 | tr "\n" " " | sed 's/$/\n/' | wc -l ##不受行数限制，速度快
1

real    0m0.210s
user    0m0.012s
sys     0m0.298s

[root@linuxprobe test2]# paste <(seq 1000000) <(seq 1000000) <(seq 1000000) > a.txt
[root@linuxprobe test2]# wc -l a.txt
1000000 a.txt
[root@linuxprobe test2]# awk '{print NF}' a.txt | head -n 3
3
3
3
[root@linuxprobe test2]# time cat a.txt | tr "\n" " " | sed 's/$/\n/' | wc -l  ## 数据有多列时仍然适用
1

real    0m0.046s
user    0m0.011s
sys     0m0.075s

 

6、利用awk命令将多行数据转化为一行

[root@linuxprobe test2]# seq 10 > a.txt
[root@linuxprobe test2]# cat a.txt
1
2
3
4
5
6
7
8
9
10
[root@linuxprobe test2]# awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' a.txt ##利用awk将多行转化为一行
1 2 3 4 5 6 7 8 9 10
[root@linuxprobe test2]# time seq 100000 | awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' | wc -l ##测试多行，测试耗时
1

real    0m0.014s
user    0m0.014s
sys     0m0.003s
[root@linuxprobe test2]# time seq 1000000 | awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' | wc -l
1

real    0m0.124s
user    0m0.123s
sys     0m0.013s
[root@linuxprobe test2]# time seq 10000000 | awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' | wc -l  ##不受行数限制，时间快
1

real    0m1.243s
user    0m1.194s
sys     0m0.153s

[root@linuxprobe test2]# paste <(seq 10000000) <(seq 10000000) <(seq 10000000) <(seq 10000000) > a.txt
[root@linuxprobe test2]# wc -l a.txt
10000000 a.txt
[root@linuxprobe test2]# awk '{print NF}' a.txt | head -n 3
4
4
4
[root@linuxprobe test2]# time awk BEGIN{RS=EOF}'{gsub("\n"," ");print}' a.txt | wc -l  ##数据多列的情况适用
1

real    0m9.015s
user    0m3.824s
sys     0m5.285s