ARTEQ implementeert archiefoplossing bij MARIN
MARIN bereidt zich voor op een data-explosie: van 1 tot 8 petabytes in vijf jaar
MARIN staat een data-explosie te wachten. Het onderzoeksinstituut uit Wageningen houdt er rekening mee dat de hoeveelheid waardevolle onderzoeksdata in vijf jaar tijd toeneemt van ongeveer 1 tot ruim 8 petabyte. Om hierop voorbereid te zijn, implementeerde MARIN samen met partner Arteq Oracle Hierarchical Storage Manager (HSM).
Het Maritime Research Institute Netherlands (MARIN) is een van de vijf toegepaste onderzoeksinstituten van ons land.
Als onafhankelijk instituut helpt MARIN haar klanten al meer dan 85 jaar om constructies in water – zoals schepen, platform en havens – slimmer, schoner en veiliger te maken. Onder andere door middel van simulaties, zoals het toetsen van het ontwerp van de tweede Maasvlakte, op het moment dat deze nog moest worden aangelegd met schepen die toen nog moesten worden bedacht. “Dat doen we met zo’n 400 experts vanuit Wageningen voor klanten over de hele wereld, voor zowel bedrijven als overheden”, vertelt Kelvin van Brakel, System Administrator bij MARIN.
Deze modelproeven worden steeds vaker aangevuld met numerieke simulaties (CFD, Computational Fluid Dynamics) waarvoor MARIN rekenclusters inzet. “Dit is in sommige gevallen hetzelfde werk als bij de modelproeven, maar dan digitaal en daardoor vaak sneller en kostenefficiënter. Soms levert een simulatie juist meer informatie op dan modelproeven. Daarbij meet je namelijk alleen waar je de sensoren op het model plaatst, bij een dergelijke simulatie krijg je op elke plek een resultaat terug.”
Met name door de inzet van het vorig jaar toegevoegde rekencluster houdt MARIN rekening met een explosieve toename van de hoeveelheid data die wordt opgeslagen. Nu al beschikt MARIN over tientallen miljoenen files die samen goed zijn voor ongeveer 1 petabyte (1000 terabytes) aan onderzoeksdata. Zonder de inzet van het nieuwe rekencluster verwacht MARIN dat die hoeveelheid ieder jaar met 40 procent toeneemt waardoor het onderzoeksinstituut over vijf jaar beschikt over 3,2 petabyte aan data.
Maar met het nieuwe rekencluster wordt dit geschat op 8,1 petabyte.
MARIN's nieuwe datastrategie: schaalbare archivering
“Met het oog op de verwachte groei hebben we behoefte aan een schaalbare storageoplossing, die bovendien een degelijke archieffunctie biedt”, benadrukt Van Brakel. “Als onderzoeksinstituut willen we data voor de langere termijn kunnen bewaren, en terug kunnen halen als we daar behoefte aan hebben. Dan is het een stuk goedkoper om die data in een archief te zetten dan op actieve storagedisks.”
Die archieffunctie heeft MARIN de afgelopen jaren gemist. “Jaren geleden maakten we gebruik van een oplossing die bij archivering files op de actieve storage verving door kleine stub-files van slechts enkele kilobits. De gebruikers dachten dat ze zo’n bestand direct konden openen, maar het daadwerkelijk terughalen van een bestand was echter veel ingewikkelder en kon meerdere dagen in beslag nemen. Dat wilden we niet meer.”
MARIN besloot daarom om het archief uit te schakelen en de actieve storage uit te breiden. “Dat was niet een tactiek die we lang vol konden houden, zeker niet met het oog op de verwachte groei van de hoeveelheid data. Disks voor actieve storage zijn te duur om te gebruiken voor data die eigenlijk in een archief thuishoren.” Het onderscheid tussen actieve en archiefdata verdween bovendien, wat het lastig maakte om data te classificeren en voor de gebruikers op de juiste plekken neer te zetten.
Voor Van Brakel stond in ieder geval één ding vast: “We hadden weer een archiveringsoplossing nodig.” Na een aanbestedingsprocedure koos MARIN voor Oracle HSM.
Toekomstbestendige Datastorage: MARIN's Samenwerking met Arteq en Oracle HSM
De oplossing werd geïmplementeerd samen met Arteq, dat verantwoordelijk blijft voor het periodieke onderhoud zoals het doorvoeren van updates en upgrades. “Dat contact en de onderlinge communicatie verlopen zeer soepel”, aldus Van Brakel.
Waar concurrerende oplossingen alleen gebruikmaken van disk, biedt Oracle HSM een combinatie van disk en tape. Wim Huijbers, managing director van Arteq: “Eigenlijk alle data worden op tape gezet, maar Oracle Hierarchical Storage Manager onthoudt waar ze worden neergezet zodat een bestand ook weer snel kan worden teruggehaald. Zonder de interventie van een beheerder. Dat gaat volledig automatisch, waardoor de snelheid van handelen omhoog gaat terwijl de operationele kosten juist sterk dalen.”
In nauwe samenwerking tussen MARIN, Oracle, Distributeur Techdata en Arteq werd de keuze voor de juiste hardware, software en implementatie samengesteld. “Qua hardware zijn we erop voorbereid dat over vijf jaar een storagecapaciteit van ruim 8 petabyte nodig is”, licht Van Brakel toe. “We hebben nu een taperobot die is voorbereid op het scenario dat we over vijf jaar 3,2 petabyte aan storage nodig hebben, maar we hebben direct ook gekozen voor een uitbreidingsunit met genoeg capaciteit om op te schalen naar 8,1 petabyte.”
De oplossing is bovendien volledig redundant uitgevoerd. In het secundaire datacenter van MARIN in Ede staat exact dezelfde storage-omgeving als op de hoofdlocatie in Wageningen. Oracle HSM schrijft de data weg naar beide gescheiden omgevingen die op die manier identiek aan elkaar zijn. “Als bijvoorbeeld ransomware de storage in Wageningen treft, dan zijn de data nog gewoon beschikbaar in Ede”, legt Huijbers uit.
De migratie van de data naar de nieuwe omgeving is nog in volle gang. Huijbers: “MARIN heeft zoveel data die het archief in moeten, dat de migratie een zekere tijd in beslag neemt. We hebben het over honderden terabytes aan data die we moeten overzetten.”
MARIN plukt nu echter al de vruchten van Oracle HSM. Van Brakel: “De beperkte ruimte op de actieve storage zorgde regelmatig voor problemen. Als je geen ruimte hebt op de actieve storage, kunnen processen vastlopen. Door het archiveren van data hebben we inmiddels ruimte kunnen vrijspelen. We hoeven niet telkens ad hoc ruimte vrij te maken om te kunnen blijven werken.
De grens tussen actieve en archiefdata is nu bovendien duidelijker. Dat zorgt ervoor dat we rustiger ons werk kunnen doen en onze aandacht kunnen verleggen naar andere projecten.”
Contact:
Wil je ontdekken hoe Arteq jouw organisatie kan helpen met geavanceerde storageoplossingen en probleemloos beheer van groeiende datavolumes?
Neem vandaag nog contact met ons op! Ons team staat klaar om jouw specifieke behoeften te bespreken en op maat gemaakte oplossingen te bieden.