Neuer Hochleistungsrechner am DKRZ nimmt Betrieb auf

Levante – das neue, vierte Hochleistungsrechnersystem für die Erdsystemforschung (HLRE-4) – nimmt am 3. März 2022 in der ersten Ausbaustufe seinen Betrieb am Deutschen Klimarechenzentrum (DKRZ) auf. Der Supercomputer, der wie sein Vorgänger “Mistral” von der Firma Atos bereitgestellt wird, vervierfacht mit 14 PetaFLOPS die Rechenleistung am DKRZ..

Damit können Forscherinnen und Forscher auf dem DKRZ-System zukünftig z.B. mehr oder längere Simulationen mit besonders hoch aufgelösten globalen Klima- und Erdsystemmodellen durchführen. Solche Modelle erlauben erstmals eine rein physikalische Darstellung wichtiger kleinräumiger Klimaprozesse, während diese in den bisher eingesetzten, wesentlich gröberen Modellen parametrisiert werden müssen. Weiterhin können so kleinräumige Wechselwirkungen zwischen Atmosphäre, Ozean und den weiteren Teilen des Systems Erde berücksichtigt werden.

Eine wichtige Anwendung der Klimamodellierung ist es, mögliche Klimaänderungen für den Verlauf dieses Jahrhunderts zu projizieren und für verschiedene Szenarien zu untersuchen. Bisher konnten Simulationen mit solchen hochauflösenden Klimamodellen allerdings nur für sehr kurze Zeiträume von wenigen Monaten eingesetzt werden. Längere Simulationszeiträume erfordern deutlich mehr Rechenzeit und Speichervolumen – welche das DKRZ nun durch Levante zur Verfügung stellen kann. Atos liefert dafür mit BullSequana eine effiziente Lösung zum Berechnen und Speichern der Simulationsergebnisse.

„Das neue System bildet die Basis unserer Dienstleistungen. Die leistungsfähigen neuen Systeme sind ein besseres Werkzeug für die Forschung, und damit auch für die Risikoabschätzung des Klimawandels für Gesellschaft und Ökologie. Am DKRZ wird der wesentliche deutsche Anteil an den Klimasimulationen gerechnet, die zu den IPCC-Berichten beitragen”, äußert sich Prof. Thomas Ludwig, Geschäftsführer des DKRZ, und fügt hinzu: „Wie auch beim Vorgängermodell legen wir Wert auf hohe Energieeffizienz. Das System verfügt über eine Hochtemperaturflüssigkeitskühlung, und ein Anteil der Abwärme wird im Nachbargebäude der Universität in die Heizungsanlage eingespeist.”

„Die Systeme am DKRZ stellen die wichtigste Infrastruktur für unsere Forschung am Max-Planck-Institut für Meteorologie (MPI-M) dar”, sagt Prof. Jochem Marotzke, Direktor der Abteilung „Ozean im Erdsystem” am MPI-M. „Erste Tests haben bereits gezeigt, dass Levante uns deutlich schneller zur Lösung bringt als sein Vorgängersystem.”

„Levante ist ein Meilenstein in der wissenschaftlichen Datenverarbeitung, da nun mehr Klimasimulationen mit hochaufgelösten Modellen, z.B. mit einer Gitterauflösung von 2,5 km, und für Zeiträume von mehreren Jahrzehnten möglich werden was der Klimawissenschaft gestattet, wissenschaftliches Neuland zu betreten”, sagt Prof. Bjorn Stevens, Direktor der Abteilung „Atmosphäre im Erdsystem” am MPI-M. „Wir freuen uns sehr auf die Zusammenarbeit mit dem DKRZ-Team und in der deutschen Klimaforschungsgemeinschaft, um dieses Neuland zu erforschen.”

TECHNISCHE SPEZIFIKATION VON LEVANTE

Die CPU-Partition von Levante umfasst 2.832 Rechnerknoten mit jeweils zwei Prozessoren, die zusammen eine Spitzenrechenleistung von 14 PetaFLOPS liefern. Das sind 14 Billiarden mathematische Operationen pro Sekunde. Das System ist mit der dritten Generation von Prozessoren des Typs AMD EPYC ausgestattet, die jeweils über 64 Prozessorkerne verfügen. Der gesamte Hauptspeicher des Systems umfasst mehr als 800 Terabyte; das entspricht dem Hauptspeicher von etwa 100.000 Laptops. Um unterschiedliche Anforderungsklassen abzudecken, verfügen die Einzelsysteme, aus denen der Supercomputer zusammengesetzt ist, über Hauptspeichergrößen zwischen 256 und 1.024 Gigabyte.

Zusätzlich zu den klassischen Prozessoren erhält Levante im Sommer eine Partition mit 60 GPU-Knoten, die gemeinsam eine Spitzenrechenleistung von 2,8 PetaFLOPS haben. Jeder GPU-Knoten ist mit zwei AMD-EPYC-Prozessoren sowie vier NVIDIA-A100-Grafikprozessoren (GPUs) ausgestattet, wobei 56 GPU-Knoten über GPUs mit 80 Gigabyte, und vier Knoten über GPUs mit 40 Gigabyte Grafikspeicher verfügen.

Diese zunehmend heterogene Hardware-Architektur stellt die wissenschaftliche Software-Entwicklung vor sehr große Herausforderungen. Das DKRZ wird seine Nutzerinnen und Nutzer darin unterstützen, ihre Arbeitsmethoden (z.B. die Portierung von Programmcodes oder der Einsatz Künstlicher Intelligenz) so anzupassen, dass sie diese Entwicklung im Bereich des Hochleistungsrechnens nutzen können.

Zur Datenübertragung zwischen den Rechnerknoten und den Speicherkomponenten nutzt Levante NVIDIA–Mellanox-InfiniBand-HDR-200G-Technologie, mit der eine Datenübertragungsrate von bis zu 200 GBit/s erzielt werden kann.

Für die Speicherung der berechneten Simulationsergebnisse ist Levante mit einem etwa 130 Petabyte großen Speichersystem der Firma DDN ausgerüstet. Damit steht nun mehr als das Doppelte des bisherigen Speicherplatzes zur Verfügung. Im Vergleich zu einem herkömmlichen Laptop mit 1 Terabyte Festplattenplatz erreicht der Supercomputer etwa das 130.000-fache von dessen Speicherkapazität.

Udo Littke, Geschäftsführer von Atos in Deutschland, sagt: „Wir freuen uns sehr, dass der neue Supercomputer den Wissenschaftlerinnen und Wissenschaftlern am DKRZ nun zur Verfügung steht. Mithilfe modernster Komponenten in unserem BullSequana XH2000-System verfügt das DKRZ jetzt über deutlich mehr Leistung und Speicher für anspruchsvolle Klimasimulationen. Gleichzeitig konnten wir die Kosten pro Rechentransaktion stark reduzieren. Das ist entscheidend, denn im Zuge einer nachhaltigen digitalen Transformation der Wirtschaft und der Wissenschaft gilt es, den Energieverbrauch in Rechenzentren stetig zu verringern.”

FINANZIERUNG

Die Bereitstellung der Mittel erfolgt auf der Basis des im November 2017 geschlossenen Finanzierungsabkommens zwischen der Helmholtz-Gemeinschaft, der Max-Planck-Gesellschaft und der Freien und Hansestadt Hamburg. Insgesamt steht für das Projekt HLRE-4 ein Betrag von 45 Millionen Euro bereit.

Wissenschaftliche Ansprechpartner:

Michael Böttinger | DKRZ | boettinger@dkrz.de | +49 40 460094 344

Weitere Informationen:

https://www.dkrz.de/de/projekte-und-partner/HLRE-Projekte/focus/levante-fokus