python对数据去重处理

我们在数据处理时，经常需要用到对重复数据进行过滤处理。  对数据去重有两种处理方式，如下：

1、对重复数据去重，并且会自动排序

使用函数  set

# 列表去重
list_a = [6, 6, 5, 1, 2, 2, 3, 4, 4, 4, 6, 7, 8, 8, 8, 10]

# 仅去重
list_aa = set(list_a)

print(list_aa)

结果如下： 

细心的小伙伴就会发现，不仅去重了，还对数据进行了重新排序。

 

2、对数据去重不改变原有顺序

# 列表去重
list_a = [6, 6, 5, 1, 2, 2, 3, 4, 4, 4, 6, 7, 8, 8, 8, 10]

# 排序保持原来顺序
list_ab = list(set(list_a))
list_ab.sort(key=list_a.index)

print(list_ab)

结果如下：

对数据进行了去重，但是没有改变原有数据的顺序。  

list.sort()函数是对列表进行排序处理， 通过key值指定排序的方式。  这样顺序就不会变化了。