shell 中的去重和排序
-
uniq 命令用来去重
-c 显示重复的次数 -
sort 命令用来排序
原理是向后比较相邻的元素的ascll码,然后升序输出
一般配合uniq 使用
ort分隔符是否生效
可以再使用 cut 分隔,打印不同的域查看是否和sort 相同
一般不生效的原因,就是分割符使用的输入法不同导致分隔符识别不同
sort -t: -k2
cut -d: -f2
python 中序列去重的方法,有用set,列表推导式等,还有就是用Numpy 库的 unique() 方法