linux系统中批量提取指定列的数据
linux系统中批量提取指定列的数据。
1、测试数据
[root@centos79 test]# cat a.txt 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 03 0f 0t 0s 0g 0y 0a 0d 0e 0n 07 03 0a 0g 0w 0z 0n 0k 04 0s 03 0d 0i 0e 0w 0g 0w 0u 08 0s 0d 0e 0a 0v 0m 0p
2、提取 3,5,7,8,9,15,17列
[root@centos79 test]# ls a.txt cols result [root@centos79 test]# cat a.txt 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 03 0f 0t 0s 0g 0y 0a 0d 0e 0n 07 03 0a 0g 0w 0z 0n 0k 04 0s 03 0d 0i 0e 0w 0g 0w 0u 08 0s 0d 0e 0a 0v 0m 0p [root@centos79 test]# cat cols 3 5 7 8 9 15 17 [root@centos79 test]# cat result [root@centos79 test]# for i in `cat cols`; do paste result <(cut -d " " -f $i a.txt ) > tmp && mv tmp result; done [root@centos79 test]# cat result 03 05 07 08 09 15 17 0t 0g 0a 0d 0e 0w 0n 03 0i 0w 0g 0w 0a 0m
3、awk提取
[root@centos79 test]# ls a.txt cols result [root@centos79 test]# cat a.txt 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 03 0f 0t 0s 0g 0y 0a 0d 0e 0n 07 03 0a 0g 0w 0z 0n 0k 04 0s 03 0d 0i 0e 0w 0g 0w 0u 08 0s 0d 0e 0a 0v 0m 0p [root@centos79 test]# cat cols 3 5 7 8 9 15 17 [root@centos79 test]# cat result [root@centos79 test]# for i in $(cat cols ); do paste result <(awk -v a=$i '{print $a}' a.txt ) > tmp && mv tmp result; done [root@centos79 test]# cat result 03 05 07 08 09 15 17 0t 0g 0a 0d 0e 0w 0n 03 0i 0w 0g 0w 0a 0m
4、while语句
[root@centos79 test]# ls a.txt cols result [root@centos79 test]# cat a.txt 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 03 0f 0t 0s 0g 0y 0a 0d 0e 0n 07 03 0a 0g 0w 0z 0n 0k 04 0s 03 0d 0i 0e 0w 0g 0w 0u 08 0s 0d 0e 0a 0v 0m 0p [root@centos79 test]# cat cols 3 5 7 8 9 15 17 [root@centos79 test]# cat result [root@centos79 test]# cat cols | while read i; do paste result <(cut -d " " -f $i a.txt ) > tmp && mv tmp result ; done [root@centos79 test]# cat result 03 05 07 08 09 15 17 0t 0g 0a 0d 0e 0w 0n 03 0i 0w 0g 0w 0a 0m
5、awk实现
root@DESKTOP-1N42TVH:/home/test# ls idx.txt test.txt root@DESKTOP-1N42TVH:/home/test# cat test.txt 001 002 003 004 005 006 007 008 009 010 011 012 013 014 015 016 017 018 019 020 021 022 023 024 025 026 027 028 029 030 031 032 033 034 035 036 037 038 039 040 041 042 043 044 045 046 047 048 049 050 051 052 053 054 055 056 057 058 059 060 061 062 063 064 065 066 067 068 069 070 071 072 073 074 075 076 077 078 079 080 081 082 083 084 085 086 087 088 089 090 091 092 093 094 095 096 097 098 099 100 root@DESKTOP-1N42TVH:/home/test# cat idx.txt 2 6 7 17 root@DESKTOP-1N42TVH:/home/test# for i in `cat idx.txt`; do cut -d " " -f $i test.txt | paste -s -d " " >> temp; done ## 提取并转置 root@DESKTOP-1N42TVH:/home/test# ls idx.txt temp test.txt root@DESKTOP-1N42TVH:/home/test# cat temp 002 022 042 062 082 006 026 046 066 086 007 027 047 067 087 017 037 057 077 097 root@DESKTOP-1N42TVH:/home/test# for i in `head -n 1 temp | awk '{print NF}' | xargs seq`; do cut -d " " -f $i temp | paste -s -d " " >> result; done root@DESKTOP-1N42TVH:/home/test# ls idx.txt result temp test.txt root@DESKTOP-1N42TVH:/home/test# cat result ## 结果文件 002 006 007 017 022 026 027 037 042 046 047 057 062 066 067 077 082 086 087 097