从头开始进行CUDA编程：Numba并行编程的基本概念

GPU（图形处理单元）最初是为计算机图形开发的，但是现在它们几乎在所有需要高计算吞吐量的领域无处不在。这一发展是由GPGPU(通用GPU)接口的开发实现的，它允许我们使用GPU进行通用计算编程。这些接口中最常见的是CUDA，其次是OpenCL和最近刚出现的HIP。

Python中使用CUDA

CUDA最初被设计为与C兼容后来的版本将其扩展到c++和Fortran。在Python中使用CUDA的一种方法是通过Numba，这是一种针对Python的即时(JIT)编译器，可以针对gpu(它也针对cpu，但这不在我们讨论的范围内)。Numba为我们提供了一个可以直接使用Python子集，Numba将动态编译Python代码并运行它。虽然它没有实现完整的CUDA API，但与cpu相比它支持的特性已经可以帮助我们进行并行计算的加速。

Numba并不是唯一的选择。CuPy 提供了通过基于CUDA的并且兼容Numpy的高级函数，PyCUDA提供了对CUDA API更细粒度的控制，英伟达也发布了官方CUDA Python。

本文不是 CUDA 或 Numba 的综合指南，本文的目标是通过用Numba和CUDA编写一些简单的示例，这样可以让你了解更多GPU相关的知识，无论是是不是使用Python，甚至C编写代码，它都是一个很好的入门资源。

GPU 的并行编程简介

GPU 相对于 CPU 的最大优势是它们能够并行执行相同的指令。单个 CPU 内核将一个接一个地串行运行指令。在 CPU 上进行并行化需要同时使用其多个内核（物理或虚拟）。例如一般的计算机有 4-8 个内核，而GPU 拥有数千个计算核心。有关这两者的比较，请参见下面的图 1。GPU 内核通常速度较慢，且只能执行简单的指令，但它们的数量通常可以弥补这些缺点。

 

https://avoid.overfit.cn/post/9c18d13573384744934f52ad9361f55c