并行系统练习题&答案

问题：

1. 以下互连拓扑的优点和缺点是什么：二维网格、二叉树和超立方体。
2. 注意：最好在 MPI 讲座之后做问题 2B；该问题将在那里重复并进行讨论。
   一些并行机包含具有不同拓扑的多个网络。例如，Blue Gene 有一个具有 3D 网状拓扑的网络和另一个具有树形拓扑的网络。
   1. 解释为什么在一台机器上拥有不同的网络很有用。
   2. 假设您要在 IBM Blue Gene 机器上实现 MPI 库。如何利用这台机器的不同网络来高效地实现MPI中的不同通信机制？
3. 描述 NUMA 多处理器和分布式共享内存之间的相似点和一个关键区别。

答案：

问题 1（拓扑）：

超立方体具有极佳的直径（对数）和最佳的平分宽度（维数N的指数），但其边数随着维数的增加而增加，使其在实践中难以构建。二叉树还具有出色的（对数）直径，但二分宽度非常差（为 1）。网格具有合理的直径和二等分宽度。

问题2（Blue Gene）：

a) 网格具有更好的二分宽度，树具有更好的直径（log(P) 与 sqrt(P)），因此这取决于应用程序，哪一个最好。

b) 将在“消息传递”模块中讨论

问题 3（NUMA/DSM）：

在DSM和非统一内存访问（NUMA）多处理器中，内存都是分布式的，每台机器都可以访问所有内存，但本地内存的访问速度比其他内存要快。DSM是软件，NUMA是硬件；因此，DSM 的本地/远程访问时间之间的差异比 NUMA 的差异要大得多。