EF架构~扩展一个分页处理大数据的方法

回到目录

最近总遇到大数据的问题，一次性处理几千万数据不实际，所以，我们需要对大数据进行分块处理，或者叫分页处理，我在EF架构里曾经写过类似的，那是在进行BulkInsert时，对大数据批量插入时候用到的，现在我把它拿出来，放在IQueryableExtensions类中，即它将作为IQueryable的一个扩展出现，我们可以把这个分页处理的逻辑应用的更加广泛，并且，在这个整理中，提供了异步并行版本，它比同版版本快了几十倍之多，可以说，当前的服务器，只有使用了并且计算之后，才能发挥它的作用！

    　　 /// <summary>
        /// 并行分页处理数据，提高系统利用率，提升系统性能
        /// </summary>
        /// <typeparam name="TEntity"></typeparam>
        /// <param name="item"></param>
        /// <param name="method"></param>
        public async static Task DataPageProcessAsync<T>(
　　　　　　IQueryable<T> item, 
　　　　　　Action<IEnumerable<T>> method) where T : class
        {
            await Task.Run(() =>
            {
                DataPageProcess<T>(item, method);
            });
        }

        /// <summary>
        /// 在主线程上分页处理数据
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="item"></param>
        /// <param name="method"></param>
        public static void DataPageProcess<T>(
　　　　　　IQueryable<T> item, 
　　　　　　Action<IEnumerable<T>> method) where T : class
        {
            if (item != null && item.Count() > 0)
            {
                var DataPageSize = 100;
                var DataTotalCount = item.Count();
                var DataTotalPages = item.Count() / DataPageSize;
                if (DataTotalCount % DataPageSize > 0)
                    DataTotalPages += 1;

                for (int pageIndex = 1; pageIndex <= DataTotalPages; pageIndex++)
                {
                    var currentItems = item.Skip((pageIndex - 1) * DataPageSize).Take(DataPageSize).ToList();
                    method(currentItems);
                }
            }
        }

事实上，有了上面的方法，以后在进行分面处理数据时，只要有IQueryable的结果集和要处理的方法传进来就可以了，方便至极！

下面代码是选自我的FastSocket项目，对大数据进行传输时，使用的代码

　　　　　　　　　　　　#region 分页数据传输
                    DataPageProcessAsync(model, (list) =>
                    {
                        client.Send("DSSInsert"
                        , 1
                        , 1
                        , item.Name//VersionHelper.GetNumber(ProjectID.NewLearningBar)
                        , SerializeMemoryHelper.SerializeToBinary(list)
                        , res => res.Buffer).ContinueWith(c =>
                        {
                            if (c.IsFaulted)
                            {
                                throw c.Exception;
                            }
                            Console.WriteLine(BitConverter.ToBoolean(c.Result, 0));
                        });
                    });
                    #endregion

我自己试了同步方法DataPageProcess和并行异步方法DataPageProcessAsync，后都比较前者至少要快几十倍，当然这和你的ＣＰＵ有关，你的ＣＰＵ处理的线程数超多，这个倍数将会越大！

回到目录