Ubuntu20.04下的HPL集群3节点搭建
1.首先安装Ubuntu20.04 amd64，安装过程比较简单，在此不做叙述了。下面出场的就是硬件们了~~~龙芯3C5000来了我也搭！目前只能用下E5 2682 V4了，主频也是2.5G，不过集成了16个核心，支持HT~
2.链接网络，更新系统：
①执行更新
apt-get update
②安装ssh工具和net工具，方便远程操作及熟悉的ifconfig指令
apt-get install ssh
apt-get install net-tools
③安装samba，建立同Windows之间的文件传递
apt-get install samba samba-common
安装完成后配置samba，步骤如下：
a.新建Ubuntu端共享文件夹
mkdir –p /home/share
b.修改samba配置文件
vi /etc/samba/smb.conf
c.在配置文件最后添加：
[node01]
comment = node01 share
path = /home/share 此处为Ubuntu端需要共享的文件夹绝对路径
browseable = yes
writable = yes
available = yes
valid users = node01 此处为登陆samba的用户，必须在Ubuntu中存在
d.修改共享文件夹权限使得Windows访问后可以读写，chmod 777 /home/share
e.设置samba访问用户密码，为了方便可以直接设置用户登陆密码：
smbpasswd -a node01
需要输入2次，输完按一次回车。
root@node01:/home/node01 smbpasswd -a node01
New SMB password:
Retype new SMB password:
Added user node01.
f.重新启动samba服务， service smbd restart
g.回到Windows端，运行输入：\\192.168.199.200，可以看到文件夹node01，双击输入用户名密码（即之前e步骤所指）
h.然后就可以方便的交互文件了，这是笔者最喜欢的方式，当然是同一网络网段内方便，比ftp好玩。
接下来就是给系统减负，不启动桌面直接进命令行模式。
a. vi /etc/default/grub
将：GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
改为：GRUB_CMDLINE_LINUX_DEFAULT="text"
b. update-grub
c. systemctl set-default multi-user.target
d. reboot
至此可以安心开始HPL测试环境的搭建了：
Ⅰ.安装gcc、gfortran、make等必要工具
apt-get install gcc
apt-get install g++
apt-get install gfortran
apt-get install make
Ⅱ.将hpl-2.3.tar.gz、mpich-3.3.2.tar.gz和OpenBLAS-0.3.17.tar.gz拷贝到samba共享文件夹（本文为/home/share/HPL文件夹下）：
a.解压mpich-3.3.2.tar.gz并进入源码文件夹
tar zxvf mpich-3.3.2.tar.gz
cd mpich-3.3.2
配置mpich和安装：
./configure --prefix=/usr/local/mpich3.3.2
make
make install
设置环境变量脚本
cd /home/share/HPL
touch env.sh
vi env.sh
添加如下内容：
export PATH=$PATH:/usr/local/mpich3.3.2/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mpich3.3.2/lib
chmod 777 env.sh
b.解压OpenBLAS-0.3.17.tar.gz并进入源码文件夹
tar zxvf OpenBLAS-0.3.17.tar.gz
cd OpenBLAS-0.3.17
make
make PREFIX=/usr/local/openblas install
c. 解压hpl-2.3.tar.gz并进入源码文件夹
tar zxvf hpl-2.3.tar.gz
cd hpl-2.3
接下来配置Makefile文件，在setup文件夹下有很多模板，此处使用Make.Linux_PII_FBLAS
cp setup/Make.Linux_PII_FBLAS .
mv Make.Linux_PII_FBLAS Make.E5x2
上门的E5x2就是这个Make的体系结构名称，后续需要用到，因为我的主板是双路E5，名称随意取即可
修改：
ARCH = E5x2
TOPdir = /home/share/HPL/hpl-2.3
MPdir = /usr/local/mpich3.3.2
MPlib = $(MPdir)/lib/libmpi.so
LAlib = $(LAdir)/lib/libopenblas.a
CC = /usr/local/mpich3.3.2/bin/mpicc
CCFLAGS = $(HPL_DEFS) -pthread -fomit-frame-pointer -fomit-frame-pointer -O3 -funroll-loops -W -Wall
LINKER = /usr/local/mpich3.3.2/bin/mpif77
保存后关闭，开始编译
make arch=E5x2
完成后会在顶层目录下生成bin文件夹
cd /home/share/HPL/hpl-2.3/bin/E5x2
里面有2个文件，分别是：HPL.dat和xhpl，前一个是配置测试用的参数，通常调参数就是指的改它内容。接下来测试运行：
mpirun -np 4 ./xhpl
其中4表示使用4个进程运行，建议和cpu的物理核心数量一致（注意区分是否开启了HT，满载测试HT会减低效率）
另外推荐一个HPL建议网站：http://hpl-calculator.sourceforge.net/
多节点MPICH-HPL测试
上面讲述了单节点的配置和运行测试，一般使用环境都是多节点并行集群计算形式，因此多节点测试十分必要，也很有意思。
a.首先需要配置ssh无密码互访，建立节点间的网络传递
ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): Created directory /root/.ssh.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa
Your public key has been saved in /root/.ssh/id_rsa.pub
The key fingerprint is:
SHA256:nszzwk6rQGp6How2xkbK8mYwZUpoM6eYqNVNg8tWA9w root@node01
The keys randomart image is:
+---[RSA 3072]----+
| . . |
| o E |
|. o |
|.=o.. = |
|=*=o.= oS |
|%+.o= .+ . |
|=@=.. .B |
|*+=. . .o+ |
|.=o .oo.. |
+----[SHA256]-----+
然后分别在3台机器上运行该命令生产公钥
cd ~/.ssh
touch authorized_keys
在三台机器上分别添加另外2台机器信息
vi /etc/hosts
笔者设置的内容如下：
root@node01:~/.ssh cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 node01 需要注释掉
192.168.199.204 node03
192.168.199.203 node02
192.168.199.205 node01
The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
测试node01同node02、node03连通性（其余同理），正常机器会把名称替换为IP，ping通即可
ping node02
ping node03
在node01-node03上运行
cat id_rsa.pub >> authorized_keys
最偷懒的方法就是通过putty复制各自的公钥到所有节点：
node02→node01
node03→node01
最后将node01的公钥（包含node01 node02 node03的公钥）完整复制到其他2台节点上。
然后第一次ssh nodeXX需要输入yes，往后就不用密码直接、互相ssh登录任意node了。
b.然后开始通过ssh复制需要运行的hpl测试程序到所有node
首先在node02和node03上面建立相同的文件夹（本文是在node01上面编译安装mpich、openblas和hpl的）
mkdir -p /home/share/HPL
chmod 777 /home/share/HPL （权限设置，否则scp拷贝容易失败）
拷贝hpl到node02（node03同理，IP、文件夹路径根据实际情况修改）
scp -r hpl-2.3 node02:/home/share/HPL
同理，mpich和openblas编译好的拷贝至/usr/local
scp -r /usr/local/openblas node02:/usr/local
scp -r /usr/local/mpich3.3.2 node02:/usr/local
c.建立mpich环境脚本
export PATH=$PATH:/usr/local/mpich3.3.2/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mpich3.3.2/lib
保存为：env.sh，同样拷贝到每个节点，然后在个节点 source env.sh一下即可，各节点就可以使用mpirun、mpicc等工具了。
d.建立并行主机核心分配文件
node01:32
node02:32
node03:32
保存为：servers，下一步给mpirun –f使用，表示每个节点node提供32个计算核心，当然可以每个4核心，看实际情况，本文用了2路E5 2682 V4因此每个节点共计32个核心，每个节点共计32GB DDR4 ECC内存，3节点一共96核心。共计128GB内存！够用了够用了。
接下来就可以正式运行测试！
mpirun -np 96 -f /home/share/HPL/servers ./xhpl
然后就进入漫长的计算了~~~通过修改HPL.dat文件参数提升成绩。3个节点96个核心都在100%负荷运行了~~~
我告诉你msdn版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！
