List根据某个字段（属性）去重

更新：2021-06-01

结合大佬@秋荷雨翔给出的方法（原文链接地址：https://www.cnblogs.com/s0611163/archive/2019/08/23/11399898.html），做了个简单的实验（根据用户姓名去重），实验不严谨，仅供参考

void Main()
{
    //生成测试数据
    DateTime dt = DateTime.Now;
    Random rnd = new Random();
    List<User> list = new List<User>();
    int total = 1000;
    for (int i = 0; i < total; i++)
    {
        User user = new User();
        user.Id = rnd.Next(1, total * 10);
        user.Name = rnd.Next(1, total * 10).ToString();
        user.Old = rnd.Next(1,100);
        list.Add(user);
    }
    double d = DateTime.Now.Subtract(dt).TotalMilliseconds;
    
    //方法一
    DateTime dt1 = DateTime.Now;
    Dictionary<string, User> result1 = new Dictionary<string, User>();
    foreach (User item in list)
    {
        User temp;
        if (!result1.TryGetValue(item.Name, out temp))
        {
            result1.Add(item.Name, item);
        }
    }
    List<User> r1 = result1.Values.ToList();
    double d1 = DateTime.Now.Subtract(dt1).TotalMilliseconds;
    
    //方法二
    DateTime dt2 = DateTime.Now;
    List<User> result2 = list.ToLookup(item => item.Name).ToDictionary(item => item.Key, item => item.First()).Values.ToList();
    double d2 = DateTime.Now.Subtract(dt2).TotalMilliseconds;    
    
    //方法三
    DateTime dt3 = DateTime.Now;
    List<User> result3 = list.Where((x,i)=>list.FindIndex(z=>z.Name == x.Name) == i).ToList();
    double d3 = DateTime.Now.Subtract(dt3).TotalMilliseconds;

    Console.WriteLine("生成 " + list.Count.ToString("# ####") + " 条测试数据耗时：" + d + "毫秒");
    Console.WriteLine("使用方法一去重耗时：" + d1 + "毫秒");
    Console.WriteLine("使用方法二去重耗时：" + d2 + "毫秒");
    Console.WriteLine("使用方法三去重耗时：" + d3 + "毫秒");
    Console.WriteLine("去重后数量：" + r1.Count + "，" + result2.Count + "，" + result3.Count);
}


public class User
{
    public int Id {get;set;}
    public string Name {get;set;}
    public int Old {get;set;}
}

一千条数据结果：

 

 一万条数据结果：

 

 十万条数据结果：

 

 百万条数据结果：运行时间太长，5分钟以上了，不等了，取消了

 总结：

　　1、数据量越大三种方法耗时差距越明显

　　2、方法一、二各有优缺点，看具体场景

　　3、方法三不推荐（piapia打脸）

 

----我是分割线 以下是原文----

 

有时候自带的list.Distinct()去重并不能满足魔门的要求，比如以下情况

如果testList的Name相同则视为重复，则可以如下实现，比写循环语句简洁多了

testList.Where((x,i)=>testList.FindIndex(z=>z.name == x.name) == i)

 PS：

　　参数x对应最外层的testList

　　参数i对应最外层testList内元素的位置索引（第几个元素）

　　参数z对应内层的testList