linux: 去除重复行，且保留原来的行排序

linux 用sort+uniq虽然可以去重，但是会改动原文件行的顺序。

因此可以用awk '!x[$0]++' file.txt > sort.txt命令
'!x[$0]++'可以在去重的基础上，不改动原来文件的行顺序。

posted @   橙子牛奶糖  阅读(400)  评论(0)  编辑  收藏  举报
编辑推荐：
· 10年+ .NET Coder 心语，封装的思维：从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热？
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行：
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源！
· 字符编码：从基础到乱码解决
历史上的今天：
2022-07-21 Rstudio: cannot create dir, reason 'No such file or directory'
2021-07-21 报错：[E::vcf_parse_format] Number of columns at chrX:XX does not match the number of samples
点击右上角即可分享
微信分享提示
AI IDE Trae