从头开始进行CUDA编程：流和事件

流 （Streams）

当我们启动内核（函数）时，它会在 GPU 中排队等待执行，GPU 会顺序按照启动时间执行我们的内核。设备中启动的许多任务可能依赖于之前的任务，所以“将它们放在同一个队列中”是有道理的。例如，如果将数据异步复制到 GPU 以使用某个内核处理它，则复制的步骤本必须在内核运行之前完成。

但是如果有两个相互独立的内核，将它们放在同一个队列中有意义吗？不一定！因为对于这种情况，CUDA通过流的机制来进行处理。我们可以将流视为独立的队列，它们彼此独立运行，也可以同时运行。这样在运行许多独立任务时，这可以大大加快总运行时间。

 

完整文章：

https://avoid.overfit.cn/post/fd3454303b9b4a7e8a2898b7d24b41ec