Projekte, Nutzer und Ressourcenauslastung

Die Nutzung des Lichtenberg HPC ist nur über Projekte möglich, denen die genehmigte Anzahl Kernstunden zugewiesen wird und die somit festlegen, wieviel Rechenressourcen das Projekt auf dem HPC verbrauchen darf. Im Grunde definieren die dem Projekt zugewiesenen Kernstunden den „Anteil“ dieses Projekts an den Gesamtressourcen des HPC.

Alle im Verlauf des Projekts beanspruchten Kernstunden werden auf das Projekt gebucht (wie ausgegebenes Geld bei einem Bankkonto).

Mitgliedschaften in Projekten

Um ein Projekt für Ihre wissenschaftlichen Berechnungen (mit)nutzen zu können, müssen Sie Mitglied werden. Infos zur Projektmitgliedschaft

Benutzer vs. Projekt

Ein Benutzerzugang/-account (personalisiert) ist mindestens einem Projekt zugeordnet (wobei das erste zum Standardprojekt des Benutzers wird). Anders als der personengebundene Benutzeraccount kann und darf ein Projekt von mehreren Kollegen bzw. Studierenden genutzt werden, die gemeinsam an demselben wissenschaftlichen Problem arbeiten.

Geben Sie niemals Ihren Benutzeraccount (Passwort oder ssh-Keys) weiter! Gemeinsames Arbeiten ist nur im Rahmen von Projekten gestattet.

Ablauffristen

Da Projekte mehrere Nutzer/Mitglieder haben können, und man andererseits Mitglied in mehreren Projekten sein kann, besteht zwischen den Gültigkeitsfristen von HLR-Nutzerzugängen und HLR-Projekten keinerlei Zusammenhang – beide laufen unabhängig voneinander (aus). Ebenso umfasst die Verlängerung des einen nicht die Verlängerung des jeweils anderen.

Jobs vs. Projekt

Das Abschicken von Batch-Jobs ohne (impliziten) Projektbezug ist nicht möglich. Gibt ein/e Benutzer/in den entsprechenden Parameter sbatch -A <Projekt> nicht an, wird der Job auf deren Standardprojekt gebucht.

Accounting-Regeln

Der Lichtenberg-Cluster läuft im Modus „user-exclusive“: ein Rechenknoten wird gleichzeitig immer nur Jobs desselben Nutzers ausführen.

Das bedeutet aber auch, dass bereits ein einziger (kleiner) Job den Knoten für andere Nutzer blockiert. Daher wird Ihrem Projekt auch für einen 4-Kern-Job der ganze Knoten (96 Kerne) angerechnet!

Fordert man für solch kleinere Rechenjobs aber glatte Teiler der Rechenkern-Anzahl unserer Knoten an (und nicht übermäßig viel Speicher), können sich mehrere Ihrer Jobs einen Rechenknoten ohne „Verschnitt“-Verluste an Ressourcen teilen:

96 / 24 = 4 Ihrer Jobs pro Knoten
96 / 32 = 3 Ihrer Jobs pro Knoten

Vermeiden Sie dafür unbedingt das Pragma

#SBATCH --exlusive

denn das würde jedem einzelnen (kleinen) Job einen separaten Rechenknoten zuweisen und obiges „Sharing“ unterbinden!

Ressourcenverbrauch

Jede/r Benutzer/in kann mit den Kommandos csum und csreport eine Übersicht über die von seinen Projekten bisher genutzten Ressourcen abrufen.

Monatliche Verbrauchsübersicht

An jedem Monatsende erhält jede/r Nutzer/in eine automatische EMail mit einer Verbrauchsübersicht aller Projekte, denen er/sie zugeordnet ist („Lichtenberg User Report“).

Wegen Änderungen im cluster-weiten Accounting sind die früher angehängten Graphen der Projekt-Auslastung im Moment leider nicht verfügbar.