多线程高效合作之master-warker模式

对于高并发的任务，有些任务是相互独立的，任务与任务之间没有依赖关系，因此可以采用 master - worker 模式。

master 用于接受任务和分发任务给 worker，并将 worker 返回的结果组装返回给调用方。因此该模式是异步的。

要用到组件有：任务队列、任务和worker线程映射、任务和结果集映射

private ConcurrentLinkedQueue<Task> taskQueue = new ConcurrentLinkedQueue<>();
    private HashMap<String, Runnable> taskThreadMap = new HashMap<>();
    private ConcurrentHashMap<String, Result> taskResultMap = new ConcurrentHashMap<>();

 

对于任务队列，master 用于接受任务， worker 线程从任务集中取任务，涉及到多 worker 线程操作同一任务集，因此需要使用线程安全的集合 ConcurrentLinkedQueue。

任务和worker线程映射 用于限制 worker 线程数量，在 master 中控制。因为只有一个 master 线程，因此不需要使用线程安全的集合类。

任务和结果集映射 用于 worker 将结果返回给 master 线程。涉及到多个 worker 线程，因此需要使用线程安全的 ConcurrentHashMap 保存任务和结果的映射。