会员登录 注册新帐号电脑店行业门户 | U盘启动工具

首页

 电脑店主页 > 产品技术 > 服务器储存 > 服务器 > HPC > 12代PE服务器使用PCIE Gen3测试HPC I/O

12代PE服务器使用PCIE Gen3测试HPC I/O

发布时间:2012-04-07 07:49      点击:     关注官方微博:

 

概述

新一代Intel Sandy Bridge服务器配置的PCI-E Gen3总线插槽在带宽和时间延迟上提供了众多优势,而这正是HPC集群结点之间进行通信时所需要的。在传输速率方面,PCI-E Gen3提供了高达8 GT/s 的传输速度,这比上一代PCI-E Gen2插槽5 GT/s 的传输速度整整提高了3GT。此外,PCI-E Gen3总线插槽采用了不同的编码方案,结果就是开销更低,交付的带宽更高,时间延迟更少。

在本文中我们关注PCI-E Gen2和PCI-E Gen3之间的性能对比以及给带宽和时间延迟带来的影响。我们使在第12代PowerEdge服务器上使用四倍数据传输速率(QDR)和十四倍数据传输速率(FDR)的InfiniBand适配器对性能提升进行测量。

由Mellanox提供的十四倍数据传输速率(FDR)的InfiniBand适配器是PCI-E Gen3卡,在具备4条链路的插槽上能够交付的理论带宽为54 Gbits/s。四倍数据传输速率(QDR)Infiniband适配器同时支持PCI-E Gen3插槽和PCI-E Gen2插槽。在具备4条链路的插槽上能够交付的理论带宽为32 Gbits/s

实验环境配置

随着 FDR InfiniBand适配器以及PCI-E Gen3插槽的引入,第12代 PowerEdge服务器在互联带宽以及时间延迟方面提供了巨大的性能提升。我们所使用的实验环境如表1(第12代 PowerEdge服务器)和表2(第11代 PowerEdge服务器)所示,用来验证第12代 PowerEdge服务器和第11代 PowerEdge服务器相比,在微基准测试级别上的优势。为获得尽可能低的延迟,如表3所示对BIOS进行了设置。服务器直连而没有经过交换机,为的是验证在不考虑交换机开销的情况下验证绝对的性能提升。

▲表1: R620 配置

▲表2: R610 配置

▲表 3: BIOS 设置

 

测试结果

以下测试结果是通过使用MVAPICH 1.2以及OSU微基准测试所获得的。我们对三种不同互联速度的性能进行了对比。对FDR PCIe Gen3, QDR PCIe Gen3以及 QDR PCIe Gen2进行测试,使用了OSU基准测试套件中的时间延迟,带宽以及双向带宽基准测试。

从图1,我们可以推断出:

与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比,FDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了87%。

与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比,QDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了16%。这归功于PCIe Gen3插槽所提供的性能优势。

▲图 1: OSU 带宽

表2展示了使用OSU双向带宽基准测试的性能对比:

与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比,FDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了69%。

与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比,QDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了20%。

▲图 2: OSU 双向带宽

图3和图4对不同互联速度下的OSU延迟基准测试进行了对比。使用新的第12代 PowerEdge服务器和FDR PCIe Gen3适配器,能够获得最低级别的微基准测试延迟。

当消息的规模很小时,与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比,FDR PCIe Gen3 (第11代 PowerEdge服务器)的时间延迟优化了40%。

消息规模很小的时间延迟数据表明QDR PCIe Gen3和 FDR PCIe Gen3的性能差异是很小的。当消息的规模很大时,QDR PCIe Gen3和 FDR PCIe Gen3的性能差异是非常明显的。

▲图3: OSU延迟 (消息规模较小)

▲图 4: OSU 延迟 (消息规模较大)

总结与结论

使用OSU基准测试套件对FDR PCIe Gen3适配器和QDR PCIe Gen2适配器进行的对比测试表明:

与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比,FDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了87%。

与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比,FDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了69%。

当消息的规模很小时,与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比,FDR PCIe Gen3 (第11代 PowerEdge服务器)的时间延迟优化了40%。

★★★ 电脑店行业门户(www.diannaodian.com)独家文章,欢迎大家转载 ★★★