HPC-Storage & parallele Dateisysteme

Dateisysteme zur kurzfristig schnellen bzw. mittel- bis langfristigen Datenspeicherung

Beschreibung

Für HPC-Benutzer stehen unterschiedliche Dateisysteme zur Verfügung, um Daten kurzfristig aber schnell oder auch mittel- bis langfristig zu speichern. Je nach Dateisystem gelten unterschiedliche Quota-Werte; auf den paralelen Dateisystemen wird Gleitlöschung („Hochwasserlöschung“) angewendet.

Für HPC-Benutzer werden sowohl spezielle NFS-Fileserver betrieben, deren Dateisysteme auf allen HPC-Systemen verfügbar sind, als auch parallele Dateisysteme, die jeweils nur Cluster-lokal erreichbar sind.

Vom NFS-Verzeichnis $HOME auf /home/hpc werden in regelmäßigen Abständen „Snapshots“ sowie üblicherweise täglich ein Backup auf Band gemacht. Daten in $HOME sind somit besonders gesichert. Da Daten auf diesem Fileserver jedoch auch sehr „teuer“ sind, wird für $HOME generell keine Quota-Erhöhung gewährt.

Typische Simulationsdaten sollten im NFS-Verzeichnis $WOODYHOME auf /home/woody abgelegt werden. Das RRZE versucht von diesen Verzeichnissen in regelmäßigen Abständen (typischerweise von mehreren Tagen) ein Backup auf Band anzufertigen. Ein garantiertes Backup gibt es jedoch nicht.

Für Ergebnisdateien, die längerfristig aufgehoben werden sollen, steht das NFS-Verzeichnis /home/vault zur Verfügung. Von dieses Daten wird ebenfalls ein regelmäßiges Backup gemacht. Große Einzeldateien, die längere Zeit nicht angefasst wurden, werden bei Bedarf automatisch und transparent auf Band ausgelagert. Auf Band ausgelagerte Dateien zählen nicht zum Online-Quota-Wert. Benutzer können die Migration auf Band nicht selbst anstoßen. Je nach Belegung der Laufwerke des Bandroboters kann das Zurückholen der Dateien von Band etwas Zeit in Anspruch nehmen; es erfolgt für den Nutzer jedoch völlig transparent.

Für große pseudo-temporäre Dateien (z.B. Restart-Dateien) steht auf einigen HPC-Clustern ein Cluster-lokales paralleles Dateisystem ($FASTTMP) zur Verfügung. Die parallelen Dateisysteme eignen sich nicht für eine Vielzahl von kleinen Dateien. Auf den parallelen Dateisystemen gibt es für typische Benutzer kein Kapazitätsquota, jedoch ist die Zahl der Dateien, die ein Benutzer erzeugen kann limitiert. Auf den parallelen Dateisystemen findet Gleitlöschung („Hochwassserlöschung“) Anwendung, d.h. wenn das Dateisystem einen gewissen Füllgrad erreicht, werden die ältesten Dateien durch Systemprozesse ohne Vorwarnung automatisch gelöscht.

Umfang

Für alle HPC-Benutzer (Studierende/Beschäftigte/Sonstige):

  • Für alle HPC-Accounts wird automatisch auf allen Dateisystemen ein Verzeichnis angelegt. Bitte verwenden Sie das für Ihre Daten am besten geeignete Dateisystem!
  • Der Quota-Wert für $HOME wird generell nicht erhöht. Für die Erhöhung der Quota-Werte auf anderen NFS-Dateisystemen können Kosten anfallen. (siehe http://rrze.fau.de/dienste/konditionen/preise/#hpc für die aktuellen Listenpreise)

Links zur Dokumentation

  • http://www.rrze.de/dienste/arbeiten-rechnen/hpc/systeme/hpc-storage.shtml
  • spezifische Beschreibungen auf den Webseiten der einzelnen HPC-Cluster http://www.rrze.de/dienste/arbeiten-rechnen/hpc/systeme/
  • OTRS-Tickets: hpc-support@fau.de

Kontakt

High Performance Computing (HPC)

← Zurück zu HPC