随笔分类 - HPC
摘要：GEMM（General Matrix Multiplication）-通用矩阵乘 BLAS (Basic Linear Algebra Subprograms) - 基本线性代数子程序 SGEMM (Single precision General Matrix Multiply) - 单精度矩阵
阅读全文
摘要：The core concept os kokkos: lets you write algorithms once and run on many architectures (e.g. multi-core CPU, GPUs, Xeon Phi, ...)
阅读全文
摘要：Asynchronization (Multithreading) The first thing we need to do is understanding the correlations between multithreading and parallel computing. Multi
阅读全文
摘要：Vectorization（矢量化） Before we understand the vectorization, we can see a common secnario. We have a array that has 100 float numbers, we want to calcul
阅读全文
摘要：在讨论并行编程之前，需要首先纠正一个概念，即“多线程只能是并发执行的”。 在本科阶段的操作系统的课程学习中，特意有强调过并发和并行的区别，并发是指在一段时间内多个任务（指的是线程或进程）按照时间片轮转的方式依次执行，某一时刻仅有一个任务在执行；而并行是指任务同时执行，即某一时刻是存在多个任务共同执行
阅读全文
摘要：# 什么是MPI[^MPI] 1. 实现了消息传递接口的库 2. 跨语言的通讯协议 3. 规定接口的调用规范和语义的一种标准（具体的实现包括 mpich 或 openmpi） MPI的定位：作为编程库很丰满，作为计算框架很骨感 [^MPI]: [一切靠自己的MPI框架](http://www.xta
阅读全文
摘要：CUDA C只是对标准C进行了语言级的扩展，通过增加一些修饰符使编译器可以确定哪些代码在主机上运行，哪些代码在设备上运行 GPU计算的应用前景很大程度上取决于能否从问题中发掘出大规模并行性 Kernel hardware mapping kernel function -> GPU block ->
阅读全文
摘要：Concepts discrimination What is the realtionships among parallel computing, high-performance computing and supercomputing ? parallel computing: using
阅读全文
