CUDA C++ PROGRAMMING GUIDE CH1 Introduction
GPU 使用了高度并行的计算，更多的 transistor 被用来数据处理（data processing）而不是数据缓存（data caching）以及流控制（flow control）
这在概念上对高度并行的计算是有好处的，因为 GPU 可以通过计算来隐藏访问内存时的延迟，而不是通过大量数据缓冲以及流控制来避免内存访问延迟。
CUDA 在 2006 年被 NVIDIA 提出，是一个通用的并行编程平台。
CUDA parallel programming model:
Three key abstractions:
- a hierarchy of thread groups
- shared memories
- barrier synchronization
