Das Team „CC HPC“

CC HPC deckt bei den lokal betriebenen HPC-Clustern folgende Aufgabenbereiche und
Dienstleistungen ab:

• Betrieb und Überwachung: Gesamtcluster, Loginserver/Gateways und Rechenkoten, Netzwerk, Storage und Scheduler überwachen;
• Systempflege: Betriebssysteme patchen, Firmware aktualisieren, Sicherheitsupdates einspielen
• Störungen beheben: Ausfälle, langsame Jobs, fehlerhafte Rechenknoten und Netzwerkprobleme analysieren und lösen;
• Benutzer-Support: Forschende bei Job-Einreichung, Software, Debugging und Performance-Optimierung unterstützen;
• Softwarepflege: wissenschaftliche Anwendungen, Compiler und Softwarebibliotheken (wie z.B. MPI, CUDA) installieren und aktualisieren, die von größeren Nutzergruppen verwendet werden;
• Ressourcenverwaltung: CPU, GPU, RAM, Queueing und Prioritäten im Scheduler konfigurieren Account- und Zugriffsverwaltung: Nutzerkonten, Gruppen, Rechte und Quotas verwalten
• Performance-Tuning: Engpässe erkennen und Cluster-Konfiguration optimieren
• Datenmanagement: Scratch-, Home- und Projektpartitionen, Backup- und Restore-Prozesse betreuen
• Dokumentation und Prozesse: Betriebsdokumentation, Standards und Incident-Runbooks pflegen
• Beratung bei der Migration von Anwendungsfällen mit außerordentlich großen Rechenzeitbedürfnissen (mehrere hunderttausend CPU- oder GPU-Stunden) auf in der HPCVersorgungspyramide beschriebene Systemen auf Tier 1 (nationales Höchstleistungsrechnen) und Tier 2 (nationales Hochleistungsrechnen und thematisch spezialisierte Hochleistungsrechenzentren).

Ferner obliegen CC HPC Aufgaben rund um die Beschaffung von HPC-Ressourcen, z.B.

• Bedarfsermittlung in Zusammenarbeit mit dem TU Dortmund Center for Data Science and Simulation (DoDaS) bzw. dem Lamarr-Institut für Maschinelles Lernen und Künstliche Intelligenz;
• Erstellung von Großgeräteanträgen bei der Deutschen Forschungsgemeinschaft (DFG) samt Berichtswesen;
• Erstellung und Ausgestaltung der Ausschreibungen für HPC-Cluster, Herstellergespräche, Verhandlungsverfahren sowie Abnahme der gelieferten Systeme;
• Planung von und Beratung bei Erweiterungen bestehender HPC-Cluster aus eigenen und Drittmitteln der Fakultäten und Lehrstühle.

Immer bedeutender wird der zeitliche Invest im Kompetenznetzwerk HPC.nrw: Das HPCLandeskonzept 2025 der Landes Nordrhein-Westfalen sieht zukünftig keine eigenen, aus Landesmitteln geförderten HPC-Cluster an den Universitäten mehr vor. Stattdessen werden lediglich noch HPCCluster gefördert, die gemeinsam durch Forscher mehrerer Universitäten genutzt werden. Zur Sicherung einer zukünftig ausreichenden HPC-Versorgung der Wissenschaftler und Wissenschaftlerinnen der TU Dortmund wird CC HPC gemeinsam mit den HPC-Teams der Ruhr-Universität Bochum und der Universität Duisburg-Essen ab 2028 einen HPC-Cluster am Standort Duisburg-Wedau (hpcFachCluster.nrw@UARuhr) betreiben.

Ein HPC-Cluster ist kein einzelner, besonders leistungsstarker und gut ausgestatteter Server mit Tausenden von Rechenkernen, Petabyte an Festplattenspeicher und Terabyte an Hauptspeicher. Es handelt sich um keine hochskalierte Version, sondern eine in die Breite skalierte Version eines Computers: er besteht typischerweise 

• aus mehreren hundert einzelnen Servern (meist Rechenknoten genannt) mit Standardkomponenten, die sich auch in PCs finden;
• ergänzt um einen gemeinsam nutzbaren Festplattenspeicher auf zentralen Servern, auf den jeder dieser Rechenknoten gleichzeitig zugreifen kann,
• verbunden über ein spezielles, schnelles Netzwerk mit geringer Latenz,
• auf besondere Art gekühlt, um die im Betrieb entstehende Wärme trotz der kompakten Bauform derRechenknoten noch abführen zu können (in der Vergangenheilt meist durch Kühltüren mitKaltwasser, inzwischen meist direkte Warmwasserkühlung)
• Der interaktive oder automatisierte, jeweils exklusive Zugriff auf Teile oder mehrere dieserRechenknoten wird über ein Ressourcenverwaltungssystem (ein sogenannter Job Scheduler)geregelt.
• Nutzeranwendungen laufen auf einem HPC-Cluster nur dann schneller als auf einem imEinzelhandel erhältlichen Computer, wenn sie die Ressourcen mehrerer Rechenknoten gleichzeitignutzen können: entweder weil mehrere von einander unabhängige Instanzen der Nutzeranwendungzeitgleich laufen und dadurch zahlreiche unterschiedliche Fragestellungen gleichzeitig (mitverschiedenen Eingabeparametern) bearbeiten. Oder indem eine Nutzeranwendung die konkreteSimulationsaufgabe in Teilprobleme zu zerlegen vermag und diese Teilprobleme gleichzeitig aufvielen Rechenkernen oder gar Rechenknoten lösen kann.