利用shell中awk和xargs以及sed将多行多列文本中某一列合并成一行
一、问题描述
最近需要利用Shell将多行多列文本中某一列,通过指定的分隔符合并成一行。假设需要处理的文本如下:
我们主要处理的是,将用户名提取处理,合并成一行,并通过逗号进行分隔。最终的格式如下:
“li1”,”huan”,”wang”,”wu”,”78c”,”zh”,”liu”,”zhao”,”xu”,”yang”
二、解决方案
首先是提取每一行的第X列,我最先能够想到的是awk命令,如下
awk '{print $2}' user1.txt
1
2
效果如下:
接着,是不是可以把替换符替换为逗号呢?
使用tr命令
awk '{print $2}' user1.txt |tr "\n" ","
1
效果:
看着好像是很接近,我们将上面的 , 分隔改为”,”分隔,是不是就okey了呢?命令如下:
awk '{print $2}' user1.txt |tr "\n" "\",\""
1
只是很遗憾,执行效果如下:
为什么呢?
因为tr是单个字符处理工具,而不是字符串处理工具。
既然tr不可以替换字符串,那么咱们就用sed命令。因为sed命令不仅仅可以处理字符,还可以处理字符串。
先来个简单的,将换行替换成逗号,命令如下:
awk '{print $2}' user1.txt |sed 's/\n/,/g'
1
执行结果如下:
好吧,竟然不听话。为什么呢?
因为sed命令处理过程是:从文本流中读取一行文本后,先把换行符去掉,然后进行相应的命令,处理完后再添加上换行符。这就导致sed命令,无法对换行符进行直接替换。
既然这样行不通,怎么搞呢?
解决方案一:
既然sed不能修改换行符,那就是在使用sed之前,把换行符干掉。干掉换行符,可以使用tr和xargs命令。
#使用xargs命令干掉换行符
awk '{print $2}' user1.txt |xargs
#使用tr命令干掉换行符
awk '{print $2}' user1.txt |tr "\n" " "
1
2
3
4
使用sed命令将空格替换成”,”,命令如下:
awk '{print $2}' user1.txt |xargs |sed 's/ /","/g'
1
但是开头和结尾少了一个双引号,解决方案如下:
echo '"'`awk '{print $2}' user1.txt |xargs |sed 's/ /","/g'`'"'
1
2
解决方案二:
echo '"'`awk '{print $2}' user1.txt | sed ':label;N;s/\n/","/;b label'`'"'
1
更多内容,可以点击这里:http://www.findme.wang/blog/detail/id/310.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
2020-06-15 git学习之git reset命令
2015-06-15 Android在跳转市场进行评分问题总结
2015-06-15 Android 开发 对话框Dialog dismiss和hide方法的区别
2015-06-15 android PopupWindow实现从底部弹出或滑出选择菜单或窗口
2015-06-15 AndroidUI开源组件库BottomView 第三方自定义UI控件
2015-06-15 Android LayoutInflater详解
2015-06-15 Android设置上下边框或者左右边框