Blog

Hybride opslagsystemen en harde schijven staan in voor de volledige werkbelasting in datacenters van Seagate

Inhoudsopgave

Seagate’s Data Center Workloads Served Entirely by Hybrid and Hard Drive Storage Systems Seagate’s Data Center Workloads Served Entirely by Hybrid and Hard Drive Storage Systems Seagate’s Data Center Workloads Served Entirely by Hybrid and Hard Drive Storage Systems

In een tijdperk waarin de vraag naar gegevens onverzadigbaar lijkt, is Seagate niet alleen de toonaangevende fabrikant van opslagoplossingen. Als groot wereldwijd opererend bedrijf beheert het ook enorme hoeveelheden gegevens in zijn eigen uitgebreide datacenters. Seagate kampte met verouderende all-flash opslagsystemen en zag een kans om zijn strategie te moderniseren en zo te voldoen aan zijn huidige behoeften én klaar te zijn voor toekomstige gegevensgroei. Het bedrijf koos ervoor om hybride opslagsystemen te implementeren met een enorme opslagcapaciteit in de vorm van harde schijven plus een dunne laag flash, vanwege hun vermogen om massale opslagcapaciteit voor gegevens efficiënt te schalen, zonder enig verlies van prestaties. In verschillende datacenters van Seagate werden meerdere InfiniBox-opslagarrays van Infinidat ingezet.

Er is de laatste tijd veel te doen geweest over de geschiktheid van harde schijven en SSD's voor datacenters. Er zijn goede redenen waarom harde schijven nog steeds worden ingezet voor zowat 90% van de benodigde hyperscale- en cloudcapaciteit.1 De eigen ervaring van Seagate heeft aangetoond waarom: Een goed afgestemde strategie, waarbij flash en harde schijven niet alleen naast elkaar bestaan, maar elkaar ook aanvullen, zorgt ervoor dat aan alle opslagbehoeften van Seagate wordt voldaan, van de meest routinematige tot uitzonderlijk veeleisende opslagbehoeften.

Het gebruik van deze hybride opslagsystemen door Seagate is een goed voorbeeld van hoe de synergie van de twee technologieën het meest effectief is om aan de vereisten van moderne datacenters te voldoen. Flashopslag wordt ingezet om de prestaties voor specifieke taken te verbeteren, terwijl harde schijven de basis vormen voor de opslag van massale hoeveelheden gegevens. 

Harde schijven en SSD's zijn beide belangrijke, maar verschillende opslagtechnologieën, met fundamenteel verschillende benaderingen voor het lezen en schrijven van gegevens. En uiteraard bieden harde schijven een groot kostenvoordeel per terabyte ten opzichte van SSD's. Een schaalbare opslagarchitectuur vereist een mix van opslagapparaten die optimaal afgestemd zijn op het budget, de capaciteit en de prestatiebehoeften van werkbelastingen.

Welke factoren bepalen de beslissingen over opslagarchitectuur?

Voor architecten en beheerders van datacenters zijn er verschillende sleutelfactoren die de architectuur van opslag bepalen: beschikbaarheid van gegevens en bestendigheid, prestaties, capaciteit, ondersteuningsmogelijkheden en de totale kosten. Deze elementen zorgen ervoor dat de opslaginfrastructuur diverse en veeleisende werkbelastingen efficiënt en voordelig kan verwerken.

De vereisten voor het datacenter van Seagate werden bepaald door duidelijke doelstellingen met betrekking tot de complexe activiteiten van het bedrijf, die onderzoek, ontwerp, productie en een gevarieerde marktaanwezigheid met B2B- en B2C-kanalen omvatten. Omdat Seagate zich bewust was van het toenemende volume aan gegevens dat wordt gegenereerd door IoT-gegevens, automatisering en digitalisering in de productie, wilde het bedrijf zijn opslagcapaciteit en prestaties op een rendabele manier verbeteren. Deze verbetering zou van vitaal belang zijn voor het benutten van AI en gegevensanalyses, die de bedrijfswaarde aansturen door inzichten te halen uit grote hoeveelheden ongestructureerde gegevens.

De vele kritieke activiteiten van het bedrijf zijn verankerd in:

  • Enterprise Resource Planning (ERP), dat centraal staat in de activiteiten van Seagate en afdelingen aanstuurt, van boekhouding tot supply chain management
  • Realtime databases, met name een database van 350 TB die cruciaal is voor het bijhouden van alle productie- en testgegevens en technische details van elke afzonderlijke eenheid die Seagate heeft verzonden
  • Werkbelastingen van analyses die Seagate helpen inzichten te halen uit grote gegevenssets voor strategische beslissingen
  • Virtuele machines (VM's) en bestandsservices die essentieel zijn voor dagelijkse IT-activiteiten en hosting van apps

Analisten hebben vastgesteld dat de overgrote meerderheid van de gegevens die met werkbelastingen in bedrijven gepaard gaan, een massale opslagcapaciteit en gegevensoverdracht in nominale tijd vereisen, en harde schijven bieden hiervoor precies de juiste schaal- en TCO-voordelen. Vinod Pasi, VP bij Seagate, en wereldwijd hoofd van de IT-infrastructuur, bevestigt dat dit paradigma de ervaring van Seagate weerspiegelt in het ontwerpen van een architectuur voor gegevensopslag die alle werkbelastingen van het datacenter effectief aankan.

Alle werkbelastingen van de datacenters van Seagate aankunnen

Seagate's strategische inzet van hybride opslagsystemen heeft een grote rol gespeeld bij het efficiënte beheer van de verschillende werkbelastingen in datacenters. Het bedrijf heeft specifieke werkbelastingen vastgesteld die verschillende niveaus van gegevensoverdrachtprestaties en massale opslagcapaciteit vereisen.

Databases voor non-realtime rapportage, zoals BDW en Informatica, samen met fabrieksdatabases zoals ODS, TS en PIC, vertegenwoordigen bijvoorbeeld een aanzienlijk deel van de gegevensopslagbehoeften van Seagate. Deze werkbelastingen, waaronder ook die van VMware VM's die Linux- en Windows-toepassingen hosten, bestandsservices (NFS, CIFS, SFTP, FTP), Hadoop HDFS voor verschillende sites en MinIO-opslagclusters voor back-up- en machine-learningtoepassingen, zijn samen goed voor ongeveer 90% van de opslagcapaciteit van Seagate. Deze werkbelastingen worden voornamelijk door harde schijven gedekt vanwege hun aanzienlijke capaciteitsvereisten en de rentabiliteit van opslag op harde schijven.

Voor werkbelastingen die realtime gegevensoverdracht vereisen, zoals databases voor productielijnondersteuning en Citrix VDI, die 10% van de opslagbehoeften van Seagate uitmaken, zorgen de intelligente cache- en gegevensplaatsingsmogelijkheden van de hybride opslagsystemen ervoor dat de prestaties niet in het gedrang komen. Deze toepassingen profiteren van de dunne laag SSD's die geïntegreerd zijn in de hybride systemen, die de nodige snelheid en lage latentie bieden voor realtime bewerkingen, maar ook nog steeds harde schijven met hoge opslagcapaciteit gebruiken voor het merendeel van de gegevensopslag.

De werkbelastingen van de datacenters van Seagate illustreren een bredere industrietrend waarbij de meerderheid van de bedrijfsgegevens efficiënt wordt beheerd door hybride opslagoplossingen. Door de balans te optimaliseren tussen harde schijven voor massale gegevensopslag die nominale tot realtime prestaties voor gegevensoverdracht vereisen, en SSD's voor zeer prestatie-intensieve taken die realtime tot ultra-realtime gegevensoverdracht vereisen, bieden hybride opslagsystemen een veelzijdige en voordelige architectuur. Die architectuur kan diverse en veeleisende werkbelastingen van datacenters aan, en zorgt voor hoge prestaties en schaalbaarheid zonder de exorbitante kosten die gepaard gaan met een all-flash infrastructuur.

Een opslagarchitectuur ontwerpen die aan werkbelastingsvereisten voldoet

Architecten voor cloudopslag, hyperscale opslag en opslag in grote bedrijven kiezen doorgaans voor de meest geschikte mix van opslagtypen om kosten, opslagcapaciteit en prestaties te optimaliseren. Geavanceerde hybride opslagarrays lenen zich uitstekend voor dat doel. SSD's zijn ideaal voor leesintensieve werkbelastingen die hoge prestaties vereisen en waarvoor ultra-realtime gegevensoverdracht nodig is (een zeer klein deel van de werkbelastingen). Harde schijven bieden de nodige mogelijkheden voor massale hoeveelheden gegevens en worden voor de overgrote meerderheid van de werkbelastingen gebruikt. Harde schijven verwerken werkbelastingen die flash niet zou moeten verwerken, en omgekeerd verwerkt flash werkbelastingen die harde schijven niet zouden moeten verwerken. Het gebruik van geavanceerde hybride systemen kan de architectuur vereenvoudigen en ervoor zorgen dat elk opslagmedium wordt gebruikt wanneer dat het meest nodig is.

Opslagoplossingen moeten voldoen aan specifieke operationele behoeften

De datacenters van Seagate gebruiken een mix van opslagoplossingen die op specifieke operationele behoeften zijn afgestemd.

Eerder kwam Seagate tegemoet aan een aantal vereisten op het gebied van opslagprestaties met behulp van all-flash systemen, die wel hoge prestaties leverden, maar tegen aanzienlijke kosten (de kosten per terabyte (TB) van flashmedia zijn zes keer hoger dan die van harde schijven). Met het oog op een meer voordelige oplossing die vergelijkbare prestaties en de nodige schaalbaarheid voor toekomstige groei kon bieden, zette Seagate 17 nieuwe hybride opslagsystemen in.

Naast de hybride schijven gebruikt Seagate 26 opslagsystemen met Exos harde schijven voor specifieke functies, zoals de opslag van beveiligingscameragegevens, back-updoelen en het bijhouden van certificeringslogboeken.

Het grootste deel van onze opslagcapaciteit (meer dan 50 PB) bestaat uit Seagate Exos harde schijven, die geïntegreerd zijn in zowel de hybride systemen van Infinidat als de puur op schijven gebaseerde Exos-opslagsystemen.

Elke hybride schijf biedt 4,6 PB aan bruikbare ruimte op harde schijven, plus een dunne flashlaag. Intelligente cachingtechnologie optimaliseert dynamisch het gegevensbeheer tussen de verschillende opslagmedia en past zich aan veranderende werkbelastingen aan om automatisch hoge prestaties te garanderen voor de veeleisende toepassingen van Seagate. De architectuur voldoet aan de vraag naar meer gegevensopslag, waardoor het bedrijf elke werkbelasting efficiënt kan beheren door zowel de capaciteit als de toegangssnelheid voor gegevensintensieve taken te optimaliseren, en dat alles met een lagere TCO per TB.

Hoe harde schijven en flash samenwerken in hybride systemen

Harde schijven en SSD's vullen elkaar aan in opslagoplossingen, waarbij SSD's worden ingezet voor hun hoge snelheden en lage latentie, en harde schijven instaan voor de grootschalige behoeften aan hoge opslagcapaciteit. Over het algemeen zijn SSD's ideaal voor blok- en bestandstypen die een zeer lage latentie van minder dan 1 milliseconde vereisen. Dat maakt ze geschikt voor leesintensieve werkbelastingen die hoge prestaties vereisen. Op hun beurt zijn harde schijven meer geschikt voor tal van bestandstypen, waaronder blok-, bestands- en objecttypen, en met name wanneer hoge opslagcapaciteit essentieel is. Harde schijven zijn ideaal voor toepassingen met een gemiddelde tot hoge latentie, variërend van 1 milliseconde tot meer dan 100 milliseconden.

Zoals de meeste hybride opslagsystemen bevat de InfiniBox van Infinidat harde schijven als primaire opslag. Het systeem bevat ook een DRAM-cache die groter is dan normaal en een SSD-laag die als secundaire cache dienstdoet. De grotere DRAM-cache maakt het mogelijk om meer gegevens dicht bij de CPU's op te slaan, wat de prestaties verbetert en bijdraagt aan de effectiviteit van strategieën voor het plaatsen van gegevens. De meeste gegevens van het systeem staan op harde schijven, de basis voor massale opslagmogelijkheden. Door gegevens in de schrijfcache op intelligente wijze samen te voegen en ze sequentieel weg te schrijven, zorgen deze systemen voor een hogere schrijfefficiëntie en beperken ze de impact op het uithoudingsvermogen van flashmedia tot een minimum. De metadata van het systeem worden in DRAM bewaard met behulp van trie-gegevensstructuren voor snelle, efficiënte toegang, wat bijdraagt aan de kracht en schaalbaarheid van het systeem.

Algoritmen beheren de plaatsing van gegevens op intelligente wijze in een gelaagde opslaghiërarchie. De systemen maken gebruik van metadata tagging om waarden te controleren, waaronder toegangsfrequenties, blokgrootten, lees/schrijffrequenties en bijbehorende I/O-profielen van toepassingen, waarbij dynamische informatie wordt gebruikt over welke gegevens het meest waarschijnlijk samen worden gebruikt. Het systeem voert dan op efficiënte wijze prefetches uit, wat leidt tot hoge hit rates voor de leescache.

Deze geïntegreerde aanpak illustreert hoe geavanceerde hybride opslagsystemen de sterke punten van zowel harde schijven als SSD's benutten en werkbelastingen toewijzen waar ze het meest efficiënt kunnen worden verwerkt: massa-opslag op harde schijven en prestatieverhogende taken op SSD's.

Rentabiliteit en productiviteitswinst

De inzet van een hybride opslagstrategie door Seagate heeft geleid tot rentabiliteit en productiviteitswinst die jaarlijkse financiële voordelen opleveren per petabyte opslagcapaciteit, waaronder lagere kosten voor IT-infrastructuur, kortere back-up- en laadtijden en hogere transactiesnelheden.

Vinod Pasi zegt dat de benchmarks van zijn IT-team aantonen dat de nieuwe hybride systemen niet alleen de prestaties van eerdere all-flash arrays overtreffen, tegen lagere kosten, maar ook een aanzienlijke capaciteitsgroei bieden en geschikt zijn voor verschillende werkbelastingen met hoge efficiëntie, waaronder alles van grote databases en analyses tot bestandsservices en VMware-werkbelastingen.

Dankzij deze overstap is Seagate erin geslaagd zijn gegevensopslagactiviteiten te stroomlijnen en over te stappen van meerdere all-flash arrays naar één hybride systeem voor het beheer van zijn cruciale database van 350 TB. Deze omslag vereenvoudigde de architectuur en verminderde de complexiteit van ondersteuning en onderhoud. Een strategische stap naar efficiënter gegevensbeheer.

 

Over het algemeen heeft het IT-team bij werkbelastingen grote verbeteringen opgemerkt voor verschillende prestatiewaarden. De back-uptijden zijn met 90% verbeterd, van uren naar minuten. De laadtijden zijn met 40% verbeterd. De transactiecijfers stegen met 35%. De zoeksnelheden zijn meer dan 20% hoger.


Over het algemeen heeft het IT-team bij werkbelastingen grote verbeteringen opgemerkt voor verschillende prestatiewaarden. De back-uptijden zijn met 90% verbeterd, van uren naar minuten. De laadtijden zijn met 40% verbeterd. De transactiecijfers stegen met 35%. De zoeksnelheden zijn meer dan 20% hoger.

Kapitaaluitgaven en operationele kosten verminderen

Door opslagarrays te consolideren, heeft Seagate zowel zijn kapitaaluitgaven (CapEx) als operationele kosten (OpEx) sterk verlaagd, waardoor de totale uitgaven bijna gehalveerd zijn. De toepassing van deze hybride systemen heeft de operationele IT-mogelijkheden van het bedrijf verbeterd, het beheer vereenvoudigd en de veerkracht verbeterd.

De overstap heeft Seagate in staat gesteld om eenvoudig aan zijn vereisten voor capaciteit en prestaties te voldoen. Eén hybride systeem kan tot 17,287 PB aan effectieve capaciteit beheren. Het kan dus niet alleen de huidige IT-werkbelasting van Seagate consolideren, maar Seagate kan ook de capaciteit van zijn systemen in de toekomst gemakkelijk met meerdere factoren schalen, wanneer het bedrijf zijn nieuwste Exos harde schijven met Mozaic 3+ technologie gebruikt, die meer dan 30 TB per schijf en meer dan 3 TB per schijfplaat bieden.

De eenvoud van de minder complexe infrastructuur van het datacenter van Seagate is een ander belangrijk voordeel. Door verschillende werkbelastingen te consolideren op minder hybride systemen, heeft Seagate zijn activiteiten gestroomlijnd en zijn overheadkosten en logistieke uitdagingen verminderd die gepaard gaan met het beheer van een heterogeen landschap van opslagarrays. Deze vereenvoudiging vertaalde zich niet alleen in kostenbesparingen, maar ook in een verbeterde operationele flexibiliteit, waardoor het IT-team van Seagate zich meer kon richten op innovatie en minder op onderhoud. De flexibiliteit en schaalbaarheid van de systemen vormden een aanvulling op de strategische richting van Seagate en boden de mogelijkheid om de opslagcapaciteit dynamisch te schalen in overeenstemming met de veranderende bedrijfsbehoeften, zonder de financiële en logistieke lasten die doorgaans gepaard gaan met het schalen van all-flash oplossingen.

Prestaties en opslagcapaciteit in balans brengen

Vinod Pasi wijst op een fundamentele waarheid in het besluitvormingsproces van Seagate: de balans tussen prestaties en opslagcapaciteit is van het grootste belang. Hoewel de eerder ingezette all-flash arrays hoge prestaties leverden, vereisen de holistische behoeften van bedrijven zoals Seagate ook volumineuze opslagcapaciteiten voor gegevens. De hybride opslagsystemen overbruggen deze kloof op een handige manier en leveren hoge prestaties zonder het vermogen op te offeren om petabytes aan gegevens voordelig op te slaan. Deze balans ondersteunt niet alleen onmiddellijke operationele vereisten, maar positioneert Seagate ook om toekomstige gegevensgroei en technologische veranderingen aan te kunnen.

  1. IDC, Multi-Client Study, Cloud Infrastructure Index 2023: Compute and Storage Consumption by 100 Service Providers, november 2023