存储//创新

扫描地平线,寻找人工智能性能的巅峰

比尔·博伦吉尔著 - 2023-10-09

当人工智能(AI)专家将创新的软件定义存储(SDS)与高性能NVMe ssd相结合时会发生什么? 好东西. 快速和可扩展的东西.

这个博客关注的是 扫描电脑国际有限公司 (Scan), PEAK:AIO, and 美光科技. 这三家公司设计并交付了一场演出, simple, 可接近的架构,提供许多AI工作负载所需的大量性能和容量(并且解决方案必须在中等规模客户的经济能力范围内)。.

欧洲以外的一些人可能不知道Scan. Scan是一家专业的技术合作伙伴-提供客户端硬件, 基础设施解决方案, 云计算和服务——所有这些都是对细节的执着关注. 他们深, 我们的内部专业知识涵盖PC游戏领域, 专业的图形, 视频编辑, 音乐制作, 高性能计算, 以及人工智能平台的设计.

它始于一个挑战
Scan在AI系统设计方面久经考验的专业知识告诉他们,传统企业存储根本无法满足下一代基于gpu的系统的存储需求. 现有的存储硬件和软件不能提供不断增长的吞吐量或可伸缩性, 复杂的数据集和人工智能模型. Scan也知道他们的客户非常重视raid保护的数据.

这些要求导致Scan走向PEAK:AIO.

PEAK:AIO是一个软件定义存储(SDS)平台,从底层开始设计,以满足人工智能工作负载的特定需求. 它部署在标准的x86服务器技术上,创建一个人工智能数据服务器,提供优化GPU利用率所需的超低延迟和令人难以置信的带宽.

Scan相信PEAK:AIO SDS平台将成为构建具有raid保护数据的中等规模GPU集群的关键因素. Scan还相信,与传统设备相比,使用PEAK:AIO和ssd可以提供更好的吞吐量, 使用传统数据保护的HDD存储(如 Linux MD RAID). Finally, 经验告诉Scan,任何传统的存储架构都太慢了, 太复杂, 太贵了, 或者三者都有, 因此,他们选择了PEAK:AIO SDS平台和高性能NVMe ssd来提供性能, 可管理性, scaling, 数据保护是必要的——所有这些都需要在合适的经济条件下进行.

Micron 9400 NVMe ssd完成整个系统
美光作为ssd市场领导者的良好记录促使Scan和PEAK:AIO与美光合作进行了概念验证性能测试. 在此测试中,Scan扩展了ssd的数量以验证系统的可伸缩性,同时增加了存储容量以容纳不断增长的数据集并为现代gpu提供支持.

扫描选中的 美光9400固态硬盘 因为美光专门为吞吐量关键型工作负载设计了它,例如 人工智能的培训. 美光9400 SSD最大容量为30tb1 顺序读吞吐量7GB/s,随机读性能4KB,最高可达1.6M IOPS.1

一个非常成功的组合
通过在紧凑型中添加多达24个30TB的Micron 9400固态硬盘, 2U存储系统, Scan轻松超过了150GB/s的初始吞吐量目标. 实际上,测试表明该配置可以达到超过170GB/s的速度.

这种组合还清楚地展示了Scan客户所需的容量和性能扩展. 随着越来越多的Micron 9400 ssd被添加到系统中,PEAK:AIO SDS(以浅灰色显示), 与使用传统Linux MD RAID(黑色部分)的系统相比,性能有所提升,如下图所示.

图表显示使用PEAK:AIO SDS和美光9400固态硬盘提高的性能:线性缩放
读取性能按保护类型缩放,峰值:AIO SDS和Micron 9400 ssd.

结论
PEAK:AIO和Micron技术的结合产生了惊人的结果, 特别是快速和可扩展的东西,比如:

  • 高达650TB的raid保护存储
  • 吞吐量超过170GB/s
  • 性能随附加驱动器线性扩展

通过Scan的合作, 峰:AIO, 和微米, 客户获得卓越的人工智能工作负载能力, 表演。, 和可扩展性——这标志着将人工智能的好处置于各地企业的范围内,并将可负担得起的人工智能数据性能从地平线转移到数据中心的旅程中的一个重要里程碑.

准备好了解更多?
了解有关所有美光科技数据中心SSD的更多信息 here,了解更多有关美光9400固态硬盘的信息 here.

了解更多有关Scan AI生态系统的信息 here,请参阅Scan沙巴体育安卓版下载此项目的新闻稿 here.

了解有关PEAK:AIO AI解决方案阵容的更多信息 here. PEAK:AIO沙巴体育安卓版下载这个项目的新闻稿是 here.



1 无格式的能力. 格式化容量较少. 完整规格的美光9400 NVMe固态硬盘可在这里: http://fqay.ngskmc-eis.net/9400.

比尔Bollengier,存储业务部沙巴体育结算平台管理总监

比尔Bollengier

比尔Bollengier是位于福尔松的美光存储业务部门的沙巴体育结算平台管理总监, 加州. 他和他的团队负责美光面向企业和云客户的高性能和主流数据中心固态驱动器解决方案的战略规划和沙巴体育结算平台管理.

+