why happen "WaitHandles must be less than or equal to 64"
Posted on 2016-11-14 22:28 Charles Chen 阅读(980) 评论(0) 编辑 收藏 举报一、背景:
在一个项目中碰到大数据插入的问题,一次性插入20万条数据(SQL Server),并用200个线程去执行,计算需要花费多少时间,因此需要等200个线程处理完成后,记录花费的时间,需要考虑的一个问题是:如何判断判断多个线程是否全部执行完成。在执行数据库的插入过程中,当每个线程需要处理的数据量大时,是个耗时的过程,故对通过配置开启多个线程。
二、问题:
问题出来了,那么如何知道所有的线程操作都全部完成了,答案是利用C#中的的ManualResetEvent来处理;于是有下面的写法。
//针对每个线程 绑定初始化一个ManualResetEvent实例
ManualResetEvent doneEvent = new ManualResetEvent(false);
//通过ThreadPool.QueueUserWorkItem(网络请求方法HttpRequest,doneEvent ) 来开启多线程
//将等待事件一一加入事件列表
List<ManualResetEvent> listEvent = new List<ManualResetEvent>();
for(int i=0;i<线程数;i++){
listEvent.Add(doneEvent);
}
//主线程等待每个线程全部完成
WaitHandle.WaitAll(listEvent.ToArray());
//....接下去的时间计算
//在保存数据的的每个线程中调用
doneEvent.Set();//通知主线程 本线程保存数据方法已经调用完成
运行好像没有问题,但是当线程数大于64个之后抛出异常 WaitHandles must be less than or equal to 64
通过网上查询,得知原来WaitHandle.WaitAll(listEvent.ToArray()); 这里listEvent线程数不能超过64个
三、解决方案:
原理:封装一个ManualResetEvent对象,一个计数器current,提供SetOne和WaitAll方法;
主线程调用WaitAll方法使ManualResetEvent对象等待唤醒信号;
各个子线程调用setOne方法 ,setOne每执行一次current减1,直到current等于0时表示所有子线程执行完毕 ,调用ManualResetEvent的set方法,这时主线程可以执行WaitAll之后的步骤。
目标:减少ManualResetEvent对象的大量产生和使用的简单性。
四、例子:
public class MutipleThreadResetEvent : IDisposable { private readonly ManualResetEvent done; private readonly int total; private long current; /// <summary> /// 构造函数 /// </summary> /// <param name="total">需要等待执行的线程总数</param> public MutipleThreadResetEvent(int total) { this.total = total; current = total; done = new ManualResetEvent(false); } /// <summary> /// 唤醒一个等待的线程 /// </summary> public void SetOne() { // Interlocked 原子操作类 ,此处将计数器减1 if (Interlocked.Decrement(ref current) == 0) { //当所以等待线程执行完毕时,唤醒等待的线程 done.Set(); } } /// <summary> /// 等待所以线程执行完毕 /// </summary> public void WaitAll() { done.WaitOne(); } /// <summary> /// 释放对象占用的空间 /// </summary> public void Dispose() { ((IDisposable)done).Dispose(); } }
本质就是只通过1个ManualResetEvent 对象就可以实现同步N(N可以大于64)个线程
public class Process { public static int workItemCount = 0; Process() { } public static void ProcessDataThread(object state) { State stateinfo = state as State; int count = Int32.Parse(stateinfo.perthreadtotal.ToString()); if (count == 0) { ProcessManage.InputLog("输入的数据不正确,请重新输入"); return; } int workItemNumber = workItemCount; Interlocked.Increment(ref workItemCount); ProcessManage.InputLog(string.Format("线程{0}开始工作", workItemNumber.ToString())); string sql = @"insert into gpsposition (PlateType,CarNo,Latitude,Longitude,Altitude,Heading,Speed,Timestamp) values"; string insertvalue = string.Empty; string va = @"('02','渝B12345',10,10,10,20,10,'2016/11/1 12:00'),"; for (int i = 0; i < count; i++) { insertvalue = (insertvalue + va); } insertvalue = insertvalue.TrimEnd(','); //执行sql语句 try { ProcessManage.ProcessData(string.Concat(sql, insertvalue)); } catch (Exception ex) { ProcessManage.InputLog(string.Format("线程{0},SQL执行错误:{1}", workItemNumber.ToString(), ex.Message)); } finally { ProcessManage.InputLog(string.Format("线程{0}执行完成", workItemNumber.ToString())); stateinfo.manualEvent.SetOne(); } } }
页面调用代码如下:
private void button1_Click(object sender, EventArgs e) { Process.workItemCount = 0; int threadcount = 0; int totalcount = 0; Int32.TryParse(this.txtThreadCount.Text, out threadcount); Int32.TryParse(this.txtTotalCount.Text, out totalcount); if (threadcount == 0 || totalcount == 0) { MessageBox.Show("文本中输入的数字不正确,请输入大于0的整数"); return; } int perthreadtotal = totalcount / threadcount; ProcessManage.InputLog(string.Format("总记录数-{0}条", totalcount)); ProcessManage.InputLog(string.Format("线程执行数量-{0}个", threadcount)); ProcessManage.InputLog(string.Format("每个线程执行记录数-{0}条", perthreadtotal)); ProcessManage.InputLog("================================================="); ProcessManage.InputLog("开始启动线程执行"); State stateInfo; Stopwatch watch = new Stopwatch(); watch.Start(); using (var manualEvents = new MutipleThreadResetEvent(threadcount)) { for (int i = 0; i < threadcount; i++) { stateInfo = new State(manualEvents, perthreadtotal); ThreadPool.QueueUserWorkItem(new WaitCallback(Process.ProcessDataThread), stateInfo); } manualEvents.WaitAll(); } watch.Stop(); ProcessManage.InputLog(string.Format("全部线程执行完成,耗时{0}秒",watch.Elapsed)); }
五、UI效果:
总结:20万数据一次性用200个线程执行,只花费了5秒多的时间即完成。