worksteal thread pool
worksteal的场景
对于一个线程池,每个线程有一个队列,想象这种场景,有的线程队列中有大量的比较耗时的任务堆积,而有的线程队列却是空的,现象就是有的线程处于饥饿状态,而有的线程处于消化不良的状态,这时就需要一种方法来解决这个问题。
需要worksteal,顾名思义就是任务窃取,当一个线程处于饥饿状态时,它就会去其它的线程队列中窃取任务,解决线程饥饿导致的效率底的问题。
worksteal要点
- 每个工作线程将任务放到它内部的队列中;
- 队列是一个双端队列,支持LIFO的push_front和pop_front操作和FIFO的take操作。
- 工作线程处理任务通过LIFO来处理最新的任务。
- 当一个线程处理完了队列中的任务之后,它会试图窃取其他线程队列的任务,根据FIFO从队列的尾部取任务。
- 如果窃取任务失败则继续尝试,直到所有的线程队列都没有任务了。
worksteal值得探讨的问题
worksteal的适用场景
worksteal适用场景是任务之间的耗时相差比较大,即有的任务很耗时,有的任务很快完成,这种用worksteal很合适;如果任务的耗时很平均则不适合,因为窃取任务也是需要抢占锁的,会造成额外的消耗。
窃取任务的策略
有很多种任务窃取策略,比如从任务最多的线程中窃取或随机窃取,需要根据实际情况来选择。
窃取任务的粒度
是每次窃取一个任务还是窃取一批任务也是需要考量的,如果窃取的一批任务比较耗时,又会导致其它线程来窃取,这样造成了无谓的消耗;如果一次窃取一个任务,而任务很快完成,这又导致重新窃取,降低了效率。这个粒度也是需要根据实际情况调整的。
参考资料
Scheduling Multithreaded Computations by Work Stealing
一点梦想:尽自己一份力,让c++的世界变得更美好!
posted on 2015-11-18 18:10 qicosmos(江南) 阅读(5104) 评论(0) 编辑 收藏 举报