MPI-Hydra Process Managerment Framework

时间:2022-02-10 19:10:09

官方文档地址:https://wiki.mpich.org/mpich/index.php/Hydra_Process_Management_Framework

1. 概述

Hydra frameworkd由以下几个基本部分组成:

  1. User Interface,用户接口UI,如mpiexec
  2. Resource Managerment Kernel,资源管理核心RMK
  3. Process manager,进程管理PM
  4. Bootstrap server,启动服务,如ssh,fork,pbs,slurm,sge
  5. Process Binding,进程监听,如plpa
  6. Commnication Subsystem,例如IB,MX
  7. Process Managerment proxy,进程管理代理
  8. I/O demux engine ,IO复用引擎

结构图下如下:

MPI-Hydra Process Managerment Framework

  • User interface

    此层的主要职责是从用户那里收集有关应用程序的信息: 在何处启动进程;将进程映射到内核,;读取 标准输入(stdin) 并将其转发到适当的进程 (es); 从不同的程序中读取标准输出/标准错误;合适的时候指挥。
  • Resource Mangerment Kernel

    RMK 提供了可与资源管理器进行交互的插件功能,比如Torque,Moab或者Cobalt。例如, 如果应用程序在启动作业之前需要在系统上分配节点, RMK 将完成这部分。同样, RMK 还可以允许在单个系统预留用于多个作业的情况下解耦作业启动。在当前的实现中, RMK 非常简单, 不提供任何这些功能。
  • Process manager

    进程管理器提供了必要的环境设置以及主要的进程管理功能,例如进程管理器pmiserv进程管理器提供了MPICH PMI(PMI)功能。但目前仅支持PMI1。其他进程管理器也可以通过其他接口支持。
  • Process Managerment Proxy

    进程管理代理基本上是一个帮助器代理, 它是在系统的每个节点上生成的, 以帮助进程管理器进行进程生成、进程清理、信号转发、I/O转发以及任何进程管理器特定的功能。

    它基本上可以执行进程管理器可以做的任何任务, 因此, 甚至可以创建进程管理代理的层次结构, 其中每个代理都充当其子树的进程管理器。
  • Bootstrap Server

    引导服务器主要充当预配置的守护进程系统, 允许上一层服务在整个系统中启动进程。

    例如, ssh 引导服务器fork进程, 每一个都通过执行一个 ssh 到另外一台机器,启动一个进程。
  • Processing Binding

    进程监听组件主要处理提取系统体系结构信息 (例如, 处理器的数量、可用的内核和 SMT 线程、它们的拓扑、共享缓存等), 以及将进程绑定到可移植的不同内核中用一种简便的方式。PLPA 是一个这样的体系结构, 已经在Hydra中使用, 但它只提供有限的信息。
  • Communication Subsystem

    通信子系统是不同代理之间以可伸缩方式进行通信的一种方式。这仅与下面描述的预启动和预连接代理有关。

    此组件提供可伸缩的通信机制, 不管系统规模 (例如, 基于IB或MX)。
  • I/O Demux Engine

    这是一个方便的基础组件,不同的组件能够注册他们的文件描述符,demux engine能够等待这些描述符的事件。

    这个方式给出了一个集中式的事件管理集制,因为我们不需要不同的线程阻塞不同的事件。

    I/ODemux Engine使用了同步回调机制。也就是,对于每个文件描述符,进程调用提供了一个函数指针,指向在描述符发生事件时的必须调用的函数。

    Demux Engins引起会在其所有已经注册的文件描述符上阻塞事件,并在发生事件时,调用适当的回调函数。

    此组件在实现中非常有用,但在体系结构本身中没有发挥关键作用。

2. 执行过程和控制流

有三大类基本的可执行类在当前的模式中:UI,PMP,process

架构图如下:

MPI-Hydra Process Managerment Framework

  • UI process

    UI process,如mpiexec,获取用户参数,环境变量,节点信息和其他细节信息,然后传递它们给RMK。