并行处理管道

当进行大规模的数据计算时

会将计算拆分进行并行计算以提升效率

我们这里以cpp进行一个并行计算的模拟 并且分析讲解流程 让大家对其有个了解认识

任务以排序和统计单词计数为例

 

数据排序例子

1 假设我们有许多数字需要排序(1T=1000G的数据),如果由一台执行排序处理,速度会非常缓慢.那么我们如何将数据划分成多台机器处理? 数据采集

2 将数据根据情况划分成多块,分别排序.效率比一块数据排序肯定提升不少.

 

3 然后我们进行整合,由于每块都是有序数列,那么只有每块给出最小的数据,对给出 的数据进行比较就可以得出所有数据中最小的数字,将其放入汇总存放处

代码

 

#include <thread>
#include <deque>
#include <iostream>
#include <algorithm>
#include <mutex>

using namespace std;

//定义处理模块的数量
const int thread_num = 4;
bool start_flag[thread_num];
//数据存放处
std::deque<int>  g_data_container[thread_num];

//多线程处理的互斥锁
std::mutex mtx;


//数据收集函数 这里仅仅是简单的创建了示例中的数字
void DataCollect() {
    g_data_container[0] = { 3,1,2,6 };
    g_data_container[1] = { 23,4,7,9 };
    g_data_container[2] = { 9,5,2 };
    g_data_container[3] = { 1,8,1};
    //依次开启标记 处理模块开始进行处理
    for (int i = 0; i < thread_num; ++i) {
        start_flag[i] = true;
    }
}


void Handle(int i) {
    int index = i;
    while (true) {
        if (start_flag[index]) {
            //各个模块数据排序
            std::sort(g_data_container[index].begin(), g_data_container[index].end());
            break;
        }
        std::this_thread::sleep_for(std::chrono::milliseconds(100));
    }

}

bool GetMinData(int& minnum) {
    bool bret = false;
    int index = -1;
    //先将模块中第一个最小的值复制给minnum  再与其他模块比较 获取最小值
    for (int i = 0; i < thread_num; ++i) {
        if (!g_data_container[i].empty()) {
            minnum = g_data_container[i].front();
            index = i;
            break;
        }
    }
    //indx为-1  说明 所有模块中的数据都为空 处理完毕
    if (index == -1) {
        return bret;
    }
    for (int i = 0; i < thread_num; ++i) {
        if (!g_data_container[i].empty() && 
            g_data_container[i].front() < minnum) {
            minnum = g_data_container[i].front();
            index = i;
        }
    }
    if (index != -1) {
        //如果index 有正确的索引值 说明本轮比较获取到最小值
        bret = true;
        //最小值返回  则分处理模块中的该值 要弹出
        g_data_container[index].pop_front();
    }
    return bret;
}

int main()
{
    //创建数据收集线程
    std::thread data_collect(DataCollect);
    std::thread t[thread_num];
    //创建数据处理线程
    for (int i = 0; i < thread_num; ++i) {
        t[i] = std::thread(Handle,i);
    }

    data_collect.join();
    for (int i = 0; i < thread_num; ++i) {
        t[i].join();
    }
    //汇聚各个模块数据 并显示
    int i = 0;
    std::deque<int> result;
    int min;
    bool b = true;
    while (b) {
        b = GetMinData(min);
        if(b)
            result.push_back(min);
    }

    std::cout << "result is :";
    for (auto& e : result) {
        std::cout << e << " ";
    }
    std::cout << std::endl;
    system("pause");
    
    return 0;
}

 

 

单词出现次数统计类似.示意图如下:

1 单词收集  见连接 

统计单词出现频率及排序 从单机到多机合作 图文示例