硬件资源

一、 主要指标

  深腾7000百万亿次高性能计算机是混合结构的高性能计算集群

  主要指标如下:

  • 系统全部采用64位高性能处理器。

  • 整机共包括3208个Intel Xeon四核处理器,384个Intel Itanium2双核处理器,共13600个CPU核心。

  • 用于计算的处理器核心共12320个,理论性能为142Tflops(所有节点的总性能为158Tflops)。

  • 系统内存总量为66TB,其中计算部分内存总量约60TB。

  • 系统内部采用4x DDR infiniband连接,点对点理论带宽2GB/s(实测MPI点对点带宽1.51GB),延迟<3μs(实测MPI点对点延迟<1.5μs)。

  • 系统的外部存储容量约1410TB,包括354TB的全光纤磁盘阵列、1PB容量的磁带库、64TB容量的虚拟带库。配备了数据迁移系统与数据备份软件,保障了数据的高效管理、使用与安全。

  • 采用Linux操作系统、LSF HPC7.0作业管理系统。

  • 使用四种高性能文件系统:Lustre、SNFS、IBM GPFS(厚节点专用)、SGI CXFS(胖节点专用)。

以下是各部分的具体配置与性能指标。

 

二、 刀片节点

  深腾7000共配有1288台IBM HS21SM刀片服务器,其中计算刀片节点1140个(采用无盘方案),IO节点120个,网络启动服务器12个,管理、登录等服务节点共16个。刀片节点的单机配置如下:

  • 配置2个Intel XeonE5450四核处理器(3.0GHz,L1:32KB+32KB, L2:2x6MB,4条浮点流水线,单核心性能为12Gflops,单CPU性能为48Gflops,TDP为80W)。

  • 内存32GB。

  • 配备4x DDR infiniband 网卡(HCA)。

  • 配备千兆以太网卡。

  • IO节点、启动节点等配备4Gbps光纤卡(HBA)。

所有刀片节点总性能为123.6Tflops,总内存41.2TB;其中计算刀片的总性能为109Tflops,总内存36.5TB。

 

三、 厚节点

  深腾7000系统中的厚节点采用IBM X3950M2服务器,共38台,总性能28Tflops,总内存19TB。其单机配置为:

  • NUMA结构,节点内采用IBM专用网络连接。

  • 配置16个Intel Xeon 四核处理器(2.93GHz,L1:32KB+32KB,L2 9MB,具体型号不详,TDP 120W?),共64个CPU核心。

  • 内存512GB。

  • 配备4x DDR infiniband 网卡(HCA),每节点4块。

  • 配备千兆以太网卡。

 

四、 胖节点

  深腾7000的胖节点采用SGI Altix4700,使用Intel Itanium2处理器,总性能5Tflops,内存总量5TB,具体配置如下:

  • 包括2个计算节点、1个头节点、2个文件服务节点。

  * 胖节点(计算节点),节点采用NUMA结构,配置94个双路刀片模块,共188颗处理器,376个CPU核心,共享内存约2.5TB,主要用于批处理作业计算。

  * 头节点,由1台胖节点通过逻辑分区实现,用于用户登录、编译与调试程序、提交作业。头节点配置4个双路刀片,共16个CPU核心,64GB内存

  * 文件服务节点,由1台SGI Altix450通过逻辑分区功能成为2台CXFS文件系统器使用,用户不可直接访问。

  • 共384颗Intel Itanium2双核处理器。

  * 型号9140M, 1.66GHz主频,666MHz总线。

  * L1 Cache: 16KB(Data)+16KB(指令),L2 Cache: 256KB(Data)+1MB(指令),L3 Cache: 18MB。

  * TDP 104W。

  • 系统浮点峰值5Tflops。

  • 内存总量5TB。

  • 互连网络。

  * 节点内采用NUMALink互连(双向带宽6.4GB/s,延迟1us)。

  * 节点间采用千兆以太网互连,用于管理、NFS文件系统。

  * 节点间采用2条20Gbps的Infiniband互连。

 

五、 可视化节点

  深腾7000共配有12台可视化节点,配有高性能图形显示卡与商业可视化软件,用于用户计算结果的可视化处理。其单机配置如下:

  • 采用3U机架式服务器。

  • 配置2个Intel XeonE5450四核处理器。

  • 内存32GB。

  • 配备4x DDR infiniband 网卡(HCA)。

  • 配备千兆以太网卡。

  • 配备Nvdia 9800GTS显卡。

 

六、 网络系统

  深腾7000的内部网络分为三种:

  • 系统网络:采用4x DDR Infiniband高速网络系统实现节点间通讯,主要用于节点间通讯与高性能文件系统。

  • 管理网络:使用全千兆高性能以太网交换机Foundry RX16,用于系统管理、部分文件系统数据传输。

  • 存储网络:全光纤结构,2台256口(4Gbkps)光纤交换机Brocade Silkworm48000,实现IO节点与磁盘阵列等存储设备的连接。

 

七、 存储系统

  深腾7000的存储系统包括以下几部分:

  • 磁盘阵列系统,采用光纤/SAS盘阵。

  * 2台HDS USPv高性能磁盘阵列,总的裸容量354TB。

  * 聚合I/O带宽≥50GB/s

  * 使用光纤方式与主机连接,支持数据链路冗余功能

  * 采用冗余电源供电,电源、风扇、控制器及硬盘等部件

可带电插拔更换,无需关机

  • 虚拟磁带库系统Quantum DX100

  * 利用SATA磁盘阵列模拟磁带库,提高数据备份的性能

  * 裸容量64TB

  • 磁带库系统

  * 用于数据备份及数据的长期保存,提高盘阵空间使用效率

  * 使用2套ADIC i2000智能带库,总不压缩容量1PB

  * 使用LTO4磁带,不压缩容量800GB/盘

  * 配有8台磁带驱动器,聚合I/O吞吐率≥800MB/s(不压缩方式)

  * 磁带库采用光纤方式与主机连接,支持数据链路冗余功能

  * 电源、磁带驱动器等部件可热插拔,更换这些部件不需关机。

磁带库内部关键部件采用冗余电源供电。

 

联系方式  |  地理位置  |  用户反馈