IMPI Python集群运行报错:

时间:2023-12-11 22:50:56

Intel MPI环境利用hostfile多主机运行下报错

HYDU_process_mfile_token (../../utils/args/args.c:523): token slots not supported at this time
HYDU_parse_hostfile (../../utils/args/args.c:597): unable to process token
mfile_fn (../../ui/mpich/utils.c:446): error parsing hostfile
match_arg (../../utils/args/args.c:243): match handler returned error
HYDU_parse_array (../../utils/args/args.c:269): argument matching returned error
parse_args (../../ui/mpich/utils.c:4770): error parsing input array
HYD_uii_mpx_get_parameters (../../ui/mpich/utils.c:5106): unable to parse user arguments

将hostfile文件中指定进程个数的slots参数删去仍然会报错。

之前用C语言的MPI和对应的hostfile尝试集群运行,已经通过验证是没有问题的。

使用IMPI的mpirun就发生了上述问题,还在尝试解决中

似乎和原来的OpenMPI的命令行参数不太一样,尝试了几个都没法之后,只用用命令

/opt/intel/intelpython2/bin/mpirun -help | grep host

来查找所有和host有关的配置参数来看一遍了,输出如下

$ /opt/intel/intelpython2/bin/mpirun -help | grep host
-f {name} | -hostfile {name} file containing the host names
-hosts {host list} comma separated host list
-host {hostname} host on which processes are to be run
-hostos {OS name} operating system on particular host
-perhost <n> place consecutive <n> processes on each host
-ppn <n> stand for "process per node"; an alias to -perhost <n>
-grr <n> stand for "group round robin"; an alias to -perhost <n>
-localhost local hostname for the launching node

不使用hostfile参数,使用host参数指定唯一主机

  1. 前置问题一: 如果只输入 -host 参数指定远程的唯一运行主机,发现会报错:
HYDU_sock_connect (../../utils/sock/sock.c:224): unable to get host address for ServerXXXX (1)
[proxy:0:0@localhost.localdomain] main (../../pm/pmiserv/pmip.c:468): unable to connect to server ServerXXXX at port 38935 (check for firewalls!)

可能原因:

1. 防火墙未关闭,被防住了

2. 主机名无法解析

在确认防火墙关闭的情况下,注意力集中在主机名解析的问题上

在google上搜索了几个相同问题的链接,最后在*找到了这个问题,参考*相同问题

在主机2上加入对master主机名和IP地址的对应:

在 主机2的/etc/hosts/文件中加入

192.168.xx.xxx MasterName

再使用问题一中提到的命令,可以发现已经正常工作。

使用不含slots的hostfile文件已经可以正常运行。

但是含有slots参数无法正常解析,是否OpenMPI 和 intel MPI的hostfile文件格式不一致呢

是的,没错,不一致。参考Intel的MPI进程控制说明

intel MPI的hostfiles正确写法应该是 : node0:2

其次,通过亲测,参数要使用 -machinefile 才能有效控制每台机器上的进程个数。更多详细信息请看上述链接。

至此,集群运行MPI的环境问题应该是已经全部解决了。

DAPL startup: RLIMIT_MEMLOCK too small

后来多节点并行计算时,发现这样的warning:

[5] DAPL startup: RLIMIT_MEMLOCK too small
[4] DAPL startup: RLIMIT_MEMLOCK too small
[2] DAPL startup: RLIMIT_MEMLOCK too small
[1] DAPL startup: RLIMIT_MEMLOCK too small

使用 ulimit -a命令查看:

$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 6561
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 4096
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited

可以清楚看到max locked memory (kbytes, -l) 64

应该调大它就不会有这个问题了。更多详情参考此处

关于ulimit命令的使用,参考菜鸟教程Linux ulimit命令

关于max memory locked概念,可以参考此博客

内存锁定值的限制(max locked memory)

这个值只对普通用户起作用,对超级用户不起作用,这个问题是由于CAP_IPC_LOCK造成的.

linux对内存是分页管理的,这意味着有不需要时,在物理内存的数据会被换到交换区或磁盘上.

有需要时会被交换到物理内存,而将数据锁定到物理内存可以避免数据的换入/换出.

采用锁定内存有两个理由:

1)由于程序设计上需要,比如oracle等软件,就需要将数据锁定到物理内存.

2)主要是安全上的需要,比如用户名和密码等等,被交换到swap或磁盘,有泄密的可能,所以一直将其锁定到物理内存.