MPICH2的linux下多台主机高性能计算

《MPICH2的linux下多台主机高性能计算》由会员分享，可在线阅读，更多相关《MPICH2的linux下多台主机高性能计算（5页珍藏版）》请在装配图网上搜索。

1、MPICH2的linux下安装及其实现多台主机高性能计算上课提交实验需要，做MPICH的安装及其实现多台主机高性能计算。实验不难，经过一天的 时间终于成功实现，特记录下全过程供有需要的人参考。一、实验目的：1、了解建设高性能计算机集群系统的过程；2、熟悉利用MPICH搭建高性能计算机的方法。二、实验环境：软件环境： MPICH 版本：mpich2T.4.1p1. tar.gz操作系统版本：CentOS5.5硬件环境：三台主机三、实验步骤：（一）集群网络环境介绍1、本实验的集群网络环境包含三个节点：一个主节点namenode，本实验的主节点为njrhero；两个从节点datanode,本实验的从

2、节点为njr和njrhero1。2、各节点之间用局域网连接，相互之间可以ping通。3、三个节点均运行在CentOS系统上，且都以root用户登录系统。（二）SSH无密码验证配置利用MPICH搭建并行高性能计算环境需要使用SSH协议，SSH为建立在应 用层和传输层基础上的安全协议。SSH是目前较可靠，专为远程登录会话和其 他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中 的信息泄露问题。SSH配置成功后,namenode可以使用SSH无密钥登陆并启动datanode进程， 同样，在datanode上也可以用SSH无密钥登陆到namenode，datanode之间也可 以实现

3、无密钥登陆。也可以在datanode上启动或关闭MPICH。注意：CentOS5.5在安装完毕后，默认启动sshd服务，可以在“系统”- “管理”-“服务”中查看sshd服务是否启动。如果系统中没有安装sshd服务， 则执行命令sudo yum ins tall ssh来安装，还要安装远程数据同步工具rsync， 可通过LAN/WAN快速同步多台主机间的文件，执行命令sudo yum ins tall rsync 即可。namenode作为客户端，要实现无密钥验证，连接到服务端datanode上时， 需要在namenode上生成一个密钥对，包括一个公钥和一个私钥，然后将公钥复 制到datano

4、de上。当namenode通过SSH链接datanode时，datanode就会生成 一个随机数并用namenode的公钥对随机数进行加密，并发送给namenode。 namenode收到加密数据之后再用私钥解密，并将解密数据回传给datanode， datanode确认解密数无误后，就允许namenode进行无密钥验证链接了。这就是 公钥认证过程，期间不需要用户手工输入密码。其中关键过程是将客户端 namenode的公钥复制到服务端datanode上。SSH的配置过程如下：1、安装和启动SSH在三台机器上均执行以下命令：#sudo yum ins tall ssh （若已经安装可省略此步骤）

5、#sudo yum install rsync#ssh sudo /et c/ini t.d/ssh res tart 启动服务（也可重启虚拟机）2、在三台机器的/etc/hosts文件中添加所有节点名和相应的IP地址，添 加内容如下：59.64.139.63 njrhero59.64.138.38 njr59.64.138.160 njrhero13、配置各节点的无密钥验证登陆为实现集群网络环境中的各节点都可作为namenode节点，本实验在三台 机器上均做了相同的namenode配置。1）在root目录下生成密钥对namenode和datanode均进入root目录下执行以下命令，每个节点

6、都会 生成一个.ssh目录，【rootnjrhero 】#ssh-keygen - t rsa回车将出现以下代码，Generating public/private rsa key pair.Enter file in which to save the key （root/.ssh/id_rsa）: 一路回车就可以了。产生密钥成功后将出现：Your identification has been saved in root/.ssh/id_rsa.Your public key has been saved in root/.ssh/id_rsa.pub. 进入到.ssh目录【rootnjr

7、hero .ssh】#ls - al 可以看到以下三个文件（分别代表私钥，公钥，已知主机）： id-rsa id_rsa.pubknown_hosts2）在每个节点的.ssh目录下新建aut horized_keys文件： 【rootnjrhero . ssh】#touch authorized_keys注意：此时在各个节点执行：ssh节点主机名，这样系统就可以记住该 用户，用户以后在自己主机上执行此命令就不再需要输入密码了。3）将每个节点的公钥用scp命令（安全拷贝）传送到另外两个节点： 主机njrhero执行如下命令：【rootnjrhero .ssh】# scp - r id_rsa.p

8、ub rootnjr:/.ssh/pubkey_njrhero【rootnjrhero .ssh】# scp - r id_rsa.pub rootnjrherol:/.ssh/pubkey_njrhero 这样，就可以将njrhero上生成的密钥传到主机njr和njrherol的root用 户下，并重命名为pubkey_njrhero。主机njr执行如下命令：【root njr .ssh 】# scp - rid_rsa.pub rootnjrhero:/.ssh/pubkey_njr【rootnjr .ssh】# scp - r id_rsa.pub rootnjrherol:/.ssh/

9、pubkey_njr主机njrherol执行如下命令：【rootnjrhero1 .ssh】# scp - r id_rsa.pub rootnjrhero:/.ssh/pubkey_njrhero1【rootnjrhero1 .ssh】# scp - r id_rsa.pub rootnjr:/.ssh/pubkey_njrhero14）在每个节点的.ssh目录下，将另外两个节点传过来的公钥文件的内 容复制到本目录下的authorized_keys文件中，并将authorized_keys文件 的权限改为600。主机njrhero执行命令：【rootnjrhero .ssh】#cat pub

10、key_njr authorized_keys【rootnjrhero . ssh】#cat pubkey_yenjrhero1 authorized_keys 【rootnjrhero .ssh】#cat id_rsa.pub authorized_keys（注意：此步很重要，方便主机可以无密钥登陆本主机）【rootnjrhero .ssh】#chmod 600 authorize_keys 主机njr执行命令：【rootnjr .ssh】# cat pubkey_njrhero authorized_keys【rootnjr .ssh】# cat pubkey_yenjrherol aut

11、horized_keys【rootnjr .ssh】# cat id_rsa.pub authorized_keys【rootnjr . ssh】# chmod 600 authorize_keys 主机njrherol执行命令：【rootnjrhero1 . ssh】#cat pubkey_njrhero authorized_keys【rootnjrhero1 .ssh】#cat pubkey_njr authorized_keys【rootnjrhero1 .ssh】#cat id_rsa.pub authorized_keys【rootnjrhero1 . ssh】#chmod 600

12、 authorize_keys至此，SSH配置完毕，三个节点可以使用SSH无密钥相互访问。 在主机njrhero上执行如下命令进行测试：【rootnjrhero .ssh #ssh njr【rootnjrhero . ssh】#ssh njrhero1若可以成功登陆到njr、njrhero1两台主机上，则证明SSH无密钥成功配置。 三）安装MPICH2在每台机器上安装MPICH2软件。1、解压缩软件包#tar - zxvf mpich2T.4.1p1 .tar.gz2、创建安装目录#mkdir /usr/MPICH -install3、进入mpich2解压目录#cd mpich2T.4.1p1

13、4、设置安装目录#./configure - prefix二/usr/MPICH-install5、编译#make6、安装#make install7、退出到root目录#cd .8、通过编辑.bashrc文件修改环境变量#vi .bashrc修改后的.bashrc文件如下：# .bashrc# User specific aliases and functionsPATH=$PATH:/usr/MPICH-install/bin执行.bashrc文件使设置生效：#source .bashrc9、测试环境变量设置#which mpicc#which mpiexec#which mpirun10

14、、创建主机名称集合文件（用于启动集群时用）#vi machinefile内容为：njrheronjr njrherol（四）测试本实验选用MPICH压缩包中自带的程序：cpip.c来对集群环境进行测试。先在njr主 机的/home/test文件夹下对cpi.c源文件进行编译：rootnjr test#mpicc cpip.c -o cpip执行完后可以生成cpip可执行文件。 在不采用集群环境的情况下，只在机器njr上运行程序的结果如图一所示：rootnjr lest= npt exec -n 3 ./cp: pProcess I on njrPrecess 2 cn njrProcess 0

15、 on njrpi is apprcxinatcIy 3.1416009869231149, Error i s 0-0000083333333318 nalI clock tine = 0*000476rootinjr test在集群环境下测试，注意:本实验是将源文件cpip.c放在各台主机的/home/test文件夹下， 并要求各主机都进行编译。请务必要求三台主机都有相同的路径，即test文件夹路径都一 样，且内容也一样，主要包括:machinefile，cpip.c源文件。连接三台机器时运行程序的 结果如图二所示：显然，图示结果表明，本实验搭建的MPICH集群环境可以运行，但由于选作测试的程序 相对来说很简单，所以在此没能体现出高性能计算机在计算上的高效性，如果采用相对复杂 的计算程序，则高性能计算机集群系统的高效性将得到很好的体现。