Dateisysteme

Für Nutzerdaten stehen die folgenden Dateisysteme zur Verfügung:

Mountpoint /home
/work/home
/work/projects
/work/groups
/work/scratch
Größe 4 PByte
Zugriffszeit schnell (abhängig von Gesamtlast des Filesystems)
Daten
erreichbar
global von allen Knoten aus
Daten
verfügbar
dauerhaft für die Projektlaufzeit Daten werden nach 8 Wochen unwiderruflich und ohne Vorankündigung gelöscht
Quota 40 GByte, nach Absprache evtl. mehr nach Absprache 10 TByte oder 2 Mio. Dateien, nach Absprache evtl. mehr
Backup Snapshots (s.u.) +
tägl. Tape-Backup (nur für Komplettausfälle)
nein
Nutzungsprofil statische Input-Daten, Ergebnisse beendeter Jobs, geringes I/O-Volumen
Nutzen Sie home, groups or projects nicht für Dateien laufender Jobs!
Input/Output von laufenden Jobs, (temporäre) Zwischendateien (CPR), hohes I/O-Volumen

Seit dem Umzug auf das neue Storagesystem im Oktober 2019 unterscheiden sich die global verfügbaren Filesysteme nicht mehr in Bezug auf Durchsatz und Latenz.

___________________________________________________________________________

Geringe bis moderate I/O-Last

Hinweis

Wegen des zu großen Volumens bei Snapshots und Backups: Nutzen Sie /home, /work/groups und /work/projects nicht für laufende Jobs mit hoher I/O-Last (z.B. sehr viele kleine Dateien), sondern nur für das Speichern der Endergebnisse!

Sicherung/Backup

Für diese Klasse von Filesystemen mit geringer I/O-Rate (Zahl und Größe von Dateien) gibt es folgende Sicherungsmechanismen:

  • tägliche Sicherungen auf Magnetband
    Diese Sicherungen dienen hauptsächlich zum Schutz gegen katastrophale Ausfälle/Schäden am Filesystem, und stehen nicht direkt für die individuelle Wiederherstellung versehentlich gelöschter Daten zur Verfügung
  • Snapshots
    Explizit für die eigene Wiederherstellung durch die Nutzenden sind die „Snapshots“ gedacht, die das GPFS-Filesystem regelmäßig erstellt (siehe „Technologie“ weiter unten). Aus dem versteckten Verzeichnis „.snapshots/“ in jedem Unterverzeichnis kann man sich jederzeit ältere oder versehentlich gelöschte Dateien heraus- und wieder an den Originalverzeichnis zurückkopieren (siehe weiter unten „Technologie“).

Nutzen Sie keine Verzeichnisse dieser Filesysteme als Arbeitsverzeichnis für laufende Jobs!

/home

Das Homedirectory sollte für alle Daten verwendet werden, die dauerhaft wichtig sind.

Jeder Nutzer bzw. jede Nutzerin darf dort nur eine begrenzte Datenmenge ablegen: die Standardquota beträgt derzeit 40 GByte. Nach Absprache kann die Quota im begründeten Einzelfall erhöht werden. Das Verzeichnis /home/$USER („Home“) wird gleichzeitig mit dem Nutzerkonto erzeugt. Man kann es wie üblich mit der Umgebungsvariable $HOME erreichen.

/work/projects und /work/groups

Auf Anfrage können größere Gruppen (Institute) ein Gruppenverzeichnis erhalten, um dort statische Input-Daten bzw. gemeinsam genutzte Programme abzulegen.

Ebenso können Projekte mit mehr als nur ein paar Mitgliedern ein Projektverzeichnis für dieselben Zwecke erhalten.

___________________________________________________________________________

Hohe I/O-Last

Sicherung/Backup

KEINE!

Diese Klasse von Filesystemen ist ausschließlich auf hohe I/O-Last und hohen Durchsatz für die Jobs/Anwendungen hin optimiert.

Da hier außerdem die Änderungsrate pro Zeit sehr hoch ist, würden herkömmliche Sicherungsmechanismen zu einer „Datenexplosion“ im (teuren) Tape-Backup führen. Aus demselben Grund bergen Snapshots die Gefahr, das FIlesystem sehr schnell vollaufen zu lassen.

Es gibt keinerlei Sicherung auf den folgenden Filesystemen – was Sie dort löschen, ist für immer weg und kann auch durch die Administratoren nicht wiederhergestellt werden!

/work/scratch

Hier gibt es für alle NutzerInnen Plattenplatz in (nahezu) unbegrenzter Menge, aber nur für begrenzte Zeit: Die hier abgelegten Daten werden ohne vorherige Warnung nach 8 Wochen gelöscht, sofern sie so lange nicht gelesen/geschrieben wurden.

Die Standardquota beträgt derzeit 10 TByte oder 2 Mio. Dateien. Nach Absprache kann die Quota im Einzelfall erhöht werden.

Das Verzeichnis /work/scratch/$USER („Scratch“) wird gleichzeitig mit dem Nutzerkonto erzeugt. Man kann es in (Job-) Scripts über die Umgebungsvariablen $HPC_SCRATCH referenzieren.

___________________________________________________________________________

Technologie

GPFS

Alle oben aufgeführten globalen, also cluster-weit verfügbaren Dateisysteme sind mittels IBMs Spectrum Scale (früher General Parallel File System) aufgesetzt. Dieses kommerzielle, lizenzpflichtige Produkt erlaubt es, große Plattenverbünde an Tausende von Knoten über Infiniband freizugeben.

Die Schreib-/Lesevorgänge solch enormer Knotenzahlen zu prüfen und zu verarbeiten dauert natürlich etwas länger, als auf lokale Platten zuzugreifen. Außerdem arbeiten alle laufenden Jobs und alle angemeldeten Benutzer gleichermaßen auf dem gemeinsamen Filesystem.

Daher kann es auf dem GPFS immer mal wieder zu kurzen „Gedenksekunden“ kommen, wenn man ls -l o.ä. ausführt. Dieses Verhalten ist normal und dem Prinzip „geteiltes, gemeinsames, überall verfügbares Filesystem“ geschuldet.

Snapshots

Für Ordner auf den Filesystemen mit geringem Turnover bzw. I/O-Volumen wird durch GPFS In regelmäßigen Abständen ein Abbild der Inhalte eingefroren („Snapshots“). So ist es möglich, selbst und ohne Administratorhilfe auf ältere Versionen Ihrer Daten zurückzugreifen. Die Snapshots sind in dem unsichtbaren Verzeichnis .snapshots gespeichert (das auch mit 'ls -la' nicht angezeigt wird). Sie können trotzdem mit „cd .snapshots“ in dieses Verzeichnis wechseln (<TAB>-completion funktioniert nicht, man muss „.snapshots“ komplett ausschreiben). Darin findet man in Unterverzeichnissen (hourly.*/, 6hour.*/, daily.*/ und weekly.*/) den Versionsstand der letzten Stunden, Tage oder Wochen

Die Dateien im Snapshotverzeichnis belegen weiterhin Speicherplatz im Filesystem! So ist es möglich, dass Sie die Quota für Ihr Homeverzeichnis bereits überschreiten, obwohl ein 'df' noch freien Platz anzeigt. Desweiteren können Sie Snapshots nicht selbst löschen (denn ein Löschen entfernt die Dateien nur aus der aktuellen Sicht, nicht jedoch aus dem Snapshotbereich).
In dringenden Fällen können wir Snapshots auf administrativer Ebene löschen und damit wieder Platz freigeben.

Durch häufiges Anlegen und Löschen von Dateien füllt sich der Snapshot-Bereich (und damit Ihre Quota) schneller und beansprucht mehr Platz im Homeverzeichnis. Darum sollte häufiges Anlegen/Löschen von Dateien in $HOME vermieden werden. Darum: benutzen Sie keine home-, groups- oder projects-Verzeichnisse für die I/O-Dateien laufender Jobs!