主节点，节点编号node_rank，全局进程编号rank，局部进程编号，全局总进程数world_size

• 主节点（master_ip + master_port）责协调所有其他节点和进程的工作，由主节点所在服务器的IP地址和主节点进程的端口号来确定主节点。主节点还负责监控系统状态、处理任务分配、结果汇总等任务，因此是整个系统的关键部分。
• 节点编号(node_rank)是系统中每个节点的唯一标识符，用于区分不同计算机之间的通信。
• 全局进程编号(rank)是整个系统中的每个进程的唯一标识符，用于区分不同进程之间的通信。
• 局部进程编号(local rank)是单个节点内的每个进程的唯一标识符，用于区分同一节点内的不同进程之间的通信。
• 全局总进程数(world size)是整个系统中运行的所有进程的总数，用于确定可以并行完成多少工作及完成任务所需的资源数量。

 摘自：《大规模语言模型：从理论到实践》的第113页。