Seagate 的数据中心工作负载完全由混合硬盘和硬盘存储系统提供服务
在对数据需求永无止境的时代,Seagate 不仅是存储解决方案的领先制造商,同时也是一家大型全球企业,管理着广阔数据中心的海量数据。面对老化的全闪存存储系统,Seagate 看到了战略现代化在满足当前需求和未来数据增长方面的机遇。公司选择部署混合存储系统,通过硬盘和薄闪存层提供超大容量,以便能够大规模高效扩展数据容量,而不会牺牲性能。Seagate 在多个数据中心部署了多个 Infinidat InfiniBox 存储阵列。
最近我们针对硬盘和 SSD 对数据中心的适用性进行了大量研究。人们有理由继续让硬盘承担大约 90% 的超大规模和云容量需求。 1而 Seagate 以其自身的经验证明了硬盘可以承受此类工作负荷:闪存和硬盘共存且相辅相成的全面策略,满足了 Seagate 从常规到苛刻的全部存储需求。
Seagate 部署这些混合存储系统的行为提供了出色示例,说明了这两种技术的协同作用如何能够有效满足现代数据中心需求。在提高特定任务的性能方面,闪存存储变现出色,而硬盘则构成了处理大量数据存储的基础。
硬盘和 SSD 使用了不同的存储技术,其读取和写入数据的方法截然不同,但都非常重要。当然,与 SSD 相比,硬盘的每 TB 成本优势较为突出。横向扩展存储架构需要混合使用媒体设备,这些设备经过优化,可满足工作负载的预算、容量和性能需求。
对于数据中心架构师和运营商来说,这几个关键元素推动了存储架构的决策:高可用性和弹性、性能、容量、可支持性和总体成本。这些元素确保存储基础设施能够高效、经济地处理各种要求苛刻的工作负载。
Seagate 数据中心的明确目标是解决公司的复杂运营,其中涵盖研究、设计、制造和包括 B2B 和 B2C 渠道在内的多元化市场占有率,这进而决定了数据中心的需求。Seagate 认识到,IoT 设备、自动化和制造业数字化生成的数据量不断增加,因此开始经济高效地提高其存储容量和性能。此类强化对于利用人工智能和数据分析至关重要,有助于从大量非结构化数据中获得见解,进而推动业务价值。
该公司广泛关键业务的基础在于:
分析师指出,与企业工作负载相关的绝大多数数据都需要大容量和标称时间数据传输,而硬盘的规模和 TCO 优势非常契合这些需求。Seagate 副总裁兼 IT 基础架构全球主管 Vinod Pasi 强调,这种模式反映了 Seagate 在打造数据存储架构方面的经验,确保其可以有效服务于所有数据中心工作负载。
Seagate 对混合存储系统的战略部署,有助于高效管理其各种数据中心工作负荷阵列。该公司已经确定了需要不同级别的数据传输性能和大容量存储容量的特定工作负载。
例如,非实时报告数据库(如 BDW 和 Informatica)以及工厂数据库(如 ODS、TS 和 PIC)代表了 Seagate 数据存储需求的重要组成部分。这些工作负载还包括托管 Linux 和 Windows 应用程序的 VMware 虚拟机、文件服务(NFS、CIFS、SFTP、FTP)、用于多个站点的 Hadoop HDFS 以及用于备份和机器学习应用程序的 MinIO 存储集群,总共占 Seagate 存储容量的 90% 左右。这些工作负载主要由具有海量存储空间且硬盘存储成本效益出色的硬盘来承担,。
对于需要实时数据传输的工作负载,例如占 Seagate 存储需求的 10% 的工厂生产线支持数据库和 Citrix VDI,混合存储系统的智能缓存和数据放置功能可确保性能不受影响。受益于集成到混合系统中的 SSD 薄层,这些应用程序可以为实时操作提供必要的速度和低延迟,同时仍利用大容量硬盘进行大量数据存储。
Seagate 的数据中心工作负载说明了一个更广泛的行业趋势,即大多数企业数据正采用混合存储解决方案有效管理数据。大容量存储硬盘需具备标称到实时数据传输性能,而用于完成高性能密集型任务的 SSD 需能够进行实时到超实时数据传输,通过优化二者之间的平衡,混合存储系统提供了一种多功能且经济高效的架构。该架构可以处理各种要求苛刻的数据中心工作负载,确保高性能和可扩展性,而不会产生与全闪存基础设施相关的高昂成本。
云、超大规模和大型企业存储架构师倾向于选择更合适的存储类型组合,以优化成本、容量和性能。高级混合存储阵列非常适合用于实现这一目标。SSD 非常适合需要超实时数据传输的高性能、读取密集型工作负载,这些通常仅占工作负载的很小一部分;而硬盘则可有助于访问海量数据并为大多数工作负载提供服务。硬盘可负责处理闪存不应处理的工作负载,而闪存则用于处理硬盘不应处理的工作负载。部署高级混合系统可以简化架构,确保在需要的时候利用每个存储介质。
Seagate 的数据中心使用多种存储解决方案,以满足特定的运营需求。
以前,Seagate 使用全闪存系统满足了一些存储性能需求。全闪存系统的性能很高,但闪存介质的成本是每 TB 硬盘介质的六倍多,过于昂贵。为了寻求更具成本效益的解决方案,以提供可比的性能和未来增长所需的可扩展性,Seagate 部署了 17 个新的混合存储系统。
除了混合阵列之外,Seagate 还采用 26 个 Exos 硬盘存储系统来实现特定功能,例如安全摄像头数据存储、备份目标和认证日志保留。
我们使用 Segate Exos 硬盘来提供大部分存储容量(超过 50 PB),这些硬盘已集成到 Infinidat 混合系统和纯基于磁盘的 Exos 存储系统中。
每个混合阵列提供 4.6PB 的可用硬盘空间,并外加一个薄闪存层。智能缓存技术动态优化其各种存储介质之间的数据管理,根据不断变化的工作负载进行调整,以自动确保 Seagate 要求苛刻的应用程序的高性能。该架构满足了对增加数据存储的需求,使公司能够通过优化数据密集型任务的容量和访问速度来高效管理任何工作负载,并且每 TB TCO 更低。
硬盘和 SSD 在存储解决方案中相辅相成,SSD 负责处理高速、低延迟要求,而硬盘负责管理大规模、高容量存储需求。通常,SSD 非常适合处理要求小于 1 毫秒的极低延迟的块和文件类型,因此适用于承担高性能的读取密集型工作负载。另一方面,硬盘适用于更广泛的文件类型,包括块、文件和对象类型,尤其是需要高容量的场景。硬盘适合具有中高延迟要求的应用程序,范围从 1 毫秒到超过 100 毫秒。
与大多数混合存储系统一样,Infinidat 的 InfiniBox 将硬盘作为其主存储。其中还包括大于寻常的 DRAM 缓存和用作辅助缓存的固态层。更大的 DRAM 缓存使更多数据存储在 CPU 附近,从而提高性能并有助于提高数据放置策略的有效性。大部分系统数据都驻留在硬盘上,这是大容量存储功能的基础。通过智能地合并写入缓存中的数据并按顺序写出,这些系统可确保更高的写入效率,并大大减少对闪存介质耐用性的影响。系统使用 trie 数据结构将元数据保存在 DRAM 中,以实现快速、高效的访问,有助于提高系统的高性能和可扩展性。
算法可跨分层存储层次结构,智能地管理数据放置。系统使用元数据标记来监控指标,包括访问频率、块大小、读/写频率和关联的应用程序 I/O 配置文件,并使用动态信息来了解哪些数据更有可能被引用和一起使用。随后系统便可高效地预取数据,从而提高读取缓存命中率。
这种集成方法说明了高级混合存储系统如何利用硬盘和 SSD 的优势,将工作负载分配到处理效率更高的地方——硬盘负责大容量存储而 SSD 负责性能提升任务。
Seagate 部署的混合存储策略提高了成本效率和生产力,从而为每 PB 存储容量带来了年度财务收益,包括降低 IT 基础架构成本、缩短备份时间、延长加载时间和加快事务处理率。
Vinod Pasi 表示,其 IT 团队的基准测试表明,新的混合系统以更低的成本超越了以前的全闪存阵列的性能,同时提供了可观的容量增长,能够高效地容纳各种工作负载,包括大型数据库、分析、文件服务和 VMware 工作负载等所有内容。
这一转变使 Seagate 能够简化其数据存储操作,从多个全闪存阵列迁移到单个混合系统,以管理其关键的 350TB 数据库。这也简化了架构并降低了支持和维护的复杂性,标志着 Seagate 朝更高效的数据管理迈出了战略一步。
从广义上讲,IT 团队在几个性能指标上都取得了显著改进。备份时间缩短了 90%,从几小时缩短到几分钟。加载时间缩短了 40%。交易费率提高了 35%。查询速度提高 20% 以上。
总的来说,IT 团队在几个性能指标上都取得了显著改进。备份时间缩短了 90%,从几小时缩短到几分钟。加载时间缩短了 40%。交易费率提高了 35%。查询速度提高 20% 以上。
通过整合存储阵列,Seagate 显著降低了资本支出 (CapEx) 和运营支出 (OpEx),使总支出几乎减半。这些混合系统增强了公司的 IT 运营能力,简化了管理并提高了弹性。
这种转变使 Seagate 能够轻松实现其对容量和性能的要求。Seagate 部署了采用 Mozaic 3+ 技术的新款 Exos 硬盘,每个硬盘提供 30TB+,每个盘片 3TB+。单个混合系统可以管理的有效容量高达 17.287PB,因此,除了促进 IT 工作负载整合外,未来 Seagate 还可以通过多种方式轻松扩展其系统容量。
Seagate 数据中心基础设施逐渐简单化,复杂性降低,这是另一个显著优势。通过将各种工作负载整合到更少的混合系统上,Seagate 简化了操作,减少了与管理异构存储阵列环境相关的开销和后勤挑战。这种简化不仅节省了成本,还提高了运营敏捷性,使 Seagate 的 IT 团队能够将更多精力放在创新上,而无需费心维护。系统的灵活性和可扩展性与 Seagate 的战略方向相辅相成,能够根据不断变化的业务需求动态扩展存储容量,而不会产生通常与扩展全闪存解决方案相关的财务和后勤负担。
Vinod Pasi 指出了 Seagate 决策过程的核心基础:性能和容量之间的平衡至关重要。虽然其之前部署的全闪存阵列提供了高性能,但像 Seagate 这样的企业的整体需求也需要海量数据空间。混合存储系统巧妙地弥合了这一差距,在确保经济存储 PB 级数据的情况下提供高性能指标。这种平衡不仅支持即时的运营需求,而且使 Seagate 能够处理未来的数据增长和技术转变。
IDC,多客户端研究,《2023 年云基础设施指数》:Compute and Storage Consumption by 100 Service Providers》,2023 年 11 月