大连人工智能计算平台——华为昇腾AI平台——高性能计算HPC的python运行环境的配置——arm环境下的mpi4py配置

据目前所知，这是国内可以找到的第一次公开的实现在国产的超算平台上，尤其是arm超算平台上实现了python运行环境的配置。

=======================================

前文已经介绍了超算平台下C语言demo的编译，作业编写以及提交系统，本文则对python语言环境下的应用进行介绍。

由于考虑到通用性，本文给出系统环境python下的配置，以及使用anaconda环境下python的配置。

1. 系统原生python环境：

安装virtualenv：（注意，由于系统路径是只读的，因此该操作将包安装到用户路径下，等同：/usr/bin/pip3 install --user virtualenv）

export REQUESTS_CA_BUNDLE=

export CURL_CA_BUNDLE=

/usr/bin/pip3 install virtualenv

在用户目录下创建python环境：

virtualenv -p /usr/bin/python3 mpi4py_env

加载刚创建的python环境：

source mpi4py_env/bin/activate

编译&安装：

export CC=/home/HPCBase/HMPI/hmpi/bin/mpicc

export PATH=/home/HPCBase/compiler/bisheng-compiler-2.1.0-aarch64-linux/bin:$PATH

export REQUESTS_CA_BUNDLE=

export CURL_CA_BUNDLE=

pip3 install mpi4py

安装成功：

-----------------------------------------------

当然我们也可以选择源码安装：

git clone https://github.com/mpi4py/mpi4py/

相同的操作：

export REQUESTS_CA_BUNDLE=

export CURL_CA_BUNDLE=

/usr/bin/pip3 install virtualenv

在用户目录下创建python环境：

virtualenv -p /usr/bin/python3 mpi4py_env

加载刚创建的python环境：

source mpi4py_env/bin/activate

编译并安装：

export CC=/home/HPCBase/HMPI/hmpi/bin/mpicc

export PATH=/home/HPCBase/compiler/bisheng-compiler-2.1.0-aarch64-linux/bin:$PATH

python setup.py install

============================================

2. anaconda环境下安装mpi4py

创建anaconda环境：

conda create -n mpi4py python=3.10

激活环境：

conda activate mpi4py

注意这里只能进行源码安装，因为anaconda安装mpi4py时会自动安装mpi的依赖，这样就和超算平台自身mpi的版本不同，导致报错：

git clone https://github.com/mpi4py/mpi4py/

由于anaconda自带链接器，会和系统中的对应版本冲突，这里我们将其进行替换：

mv anaconda3/compiler_compat/ld anaconda3/compiler_compat/ld.bak

ln -s /usr/bin/ld anaconda3/compiler_compat/ld

同样的编译及安装方式：

export CC=/home/HPCBase/HMPI/hmpi/bin/mpicc

export PATH=/home/HPCBase/compiler/bisheng-compiler-2.1.0-aarch64-linux/bin:$PATH

python setup.py install

安装成功后记得将anaconda的链接器改回去：

mv anaconda3/compiler_compat/ld.bak anaconda3/compiler_compat/ld

==================================================

以上操作全部完成后虽然mpi4py安装成功，但是在实际使用中则会报错：

原因：

超算平台的mpi在编译安装的时候并没有开启多线程模式，而我们刚才安装的mpi4py是默认开启了多线程模式，因此报错。

解决方法参考：

https://docs.scinet.utoronto.ca/index.php/Python

这里以anaconda创建的环境举例：

安装的mpi4py地址为：

anaconda3/envs/mpi4py/lib/python3.10/site-packages/mpi4py/

打开文件 anaconda3/envs/mpi4py/lib/python3.10/site-packages/mpi4py/__init__.py

将内容 thread_level = 'multiple' 改为 thread_level = 'funneled'

测试：

import mpi4py.MPI as MPI
import sys
 
comm = MPI.COMM_WORLD
comm_rank = comm.Get_rank()
comm_size = comm.Get_size()
node_name = MPI.Get_processor_name()
 
# point to point communication
data_send = [comm_rank]*1

comm.send(data_send,dest=(comm_rank+1)%comm_size)

data_recv =comm.recv(source=(comm_rank-1)%comm_size)

print("my rank is %d, and Ireceived:" % comm_rank, data_recv, file=sys.stdout, flush=True)
print(data_recv)