摘要：并行程序的几个基本概念——进程与线程 对进程与线程有一个宏观上的了解： 进程，是并发执行的程序在执行过程中分配和管理资源的基本单位，是一个动态概念，竟争计算机系统资源的基本单位。每一个进程都有一个自己的地址空间，即进程空间或（虚空间）。进程空间的大小 只与处理机的位数有关，一个 16 位长处理机的进
阅读全文
posted @ 2019-08-20 18:27
随笔分类 - 【课程】高性能并行计算
摘要：恢复内容开始 一、大数据时代的现状 据统计，YouTube上每分钟就会增加500多小时的视频，面对如此海量的数据，如何高效的存储与处理它们就成了当前最大的挑战。但在这个对硬件要求越来越高的时代，CPU却似乎并不这么给力了。自2013年以来，处理器频率的增长速度逐渐放缓了，目前CPU的频率主要分布在3
阅读全文
posted @ 2019-08-20 18:20
摘要：缓存命中率 （1）命中：可以直接通过缓存获取到需要的数据。 （2）不命中：无法直接通过缓存获取到想要的数据，需要再次查询数据库或者执行其它的操作。原因可能是由于缓存中根本不存在，或者缓存已经过期。 通常来讲，缓存的命中率越高则表示使用缓存的收益越高，应用的性能越好（响应时间越短、吞吐量越高），抗并发
阅读全文
posted @ 2019-08-20 16:03
摘要：一、理解隐马尔科夫 1.1 举例理解 假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。第三个骰子有八个面（称这个骰子为D8）
阅读全文
posted @ 2019-03-26 19:29
摘要：LU分解在本质上是高斯消元法的一种表达形式。实质上是将A通过初等行变换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵。这正是所谓的杜尔里特算法（Doolittle algorithm）：从下至上地对矩阵A做初等行变换，将对角线左下方的元素变成零，然后再证明这些行变换的效果等同于左乘一系列单位下
阅读全文
posted @ 2019-03-18 17:41
摘要：基本并行实现的讨论： 正如前面所讲的，矩阵相乘过程中，结果矩阵C中的每个元素都是可以独立计算的，即彼此之间并无依赖性。所以如果采用更多的处理器，将会显著地提高矩阵相乘的计算效率。 对于大小为n × n 的矩阵，加入我们有n个处理器，那么结果矩阵中的每一行，都可以用一个处理器来负责计算。此时，总共的并
阅读全文
posted @ 2019-03-18 17:36
摘要：串行计算： 并行计算： 这里我们假定了要解决的问题完全可分为4个独立运行的部分，由4个processors来独立运行。实际问题中，独立性和关联性是一个“太极”关系，就涉及到划分的粒度和通讯的频率等等问题。 计算机系统可以分为以下四类： 单指令单数据流（SISD）：一个单处理器执行一个单指令流，对保存
阅读全文
posted @ 2019-03-16 13:16
摘要：一.与CUDA相关的几个概念：thread，block，grid，warp，sp，sm。 sp: 最基本的处理单元，streaming processor 最后具体的指令和任务都是在sp上处理的。GPU进行并行计算，也就是很多个sp同时做处理 sm:多个sp加上其他的一些资源组成一个sm, stre
阅读全文
posted @ 2018-12-01 15:40
摘要：图形处理单元（或简称GPU）会负责处理从PC内部传送到所连接显示器的所有内容，无论你在玩游戏、编辑视频或只是盯着桌面的壁纸，所有显示器中显示的图像都是由GPU进行渲染的。 对普通用户来说，实际上不需要独立显卡就可以向显示器「提供」内容。像笔记本电脑或平板用户，通常CPU芯片都会集成GPU内核，也就是
阅读全文
posted @ 2018-10-24 16:05
