Was ist High-Performance Computing (HPC)?

HPC löst einige der komplexesten Computerprobleme von heute in Echtzeit. HPC-Systeme laufen in der Regel mehr als eine Million Mal schneller als die schnellsten handelsüblichen Desktop-, Laptop- oder Serversysteme.

Supercomputer, speziell entwickelte Computer, die Millionen von Prozessoren oder Prozessorkernen enthalten, sind seit Jahrzehnten unverzichtbar im Hochleistungsrechnen. Im Gegensatz zu Mainframes sind Supercomputer viel schneller und können Milliarden von Gleitkommaoperationen in einer Sekunde ausführen.

Supercomputer sind immer noch unter uns. Der schnellste Supercomputer ist der US-amerikanische Frontier mit einer Verarbeitungsgeschwindigkeit von 1.206 Exaflops oder Trillionen Gleitkommaoperationen pro Sekunde (Flops).¹ Doch heute betreiben immer mehr Unternehmen HPC-Dienste auf Clustern auf Hochgeschwindigkeitsservern, die vor Ort oder in der Cloud gehostet werden.

HPC-Workloads bringen wichtige neue Erkenntnisse ans Licht, die das menschliche Wissen voranbringen und erhebliche Wettbewerbsvorteile schaffen. Zum Beispiel sequenziert HPC DNA und automatisiert den Aktienhandel. Es führt künstliche Intelligenz (KI)-Algorithmen und Simulationen aus – wie sie beispielsweise für selbstfahrende Autos verwendet werden –, die Terabytes an Datenströmen von IoT-Sensoren, Radar- und GPS-Systemen in Echtzeit analysieren, um Entscheidungen in Sekundenbruchteilen zu treffen.

Ein Standard-Rechensystem löst Probleme hauptsächlich durch serielles Rechnen. Es teilt die Workload in eine Abfolge von Aufgaben auf und führt die Aufgaben dann nacheinander auf demselben Prozessor aus.

Beim parallelen Rechnen werden mehrere Aufgaben gleichzeitig auf mehreren Computerservern oder Prozessoren ausgeführt. HPC nutzt massiv paralleles Rechnen, bei dem Zehntausende bis Millionen von Prozessoren oder Prozessorkernen verwendet werden.

Ein HPC-Cluster besteht aus mehreren miteinander vernetzten Hochgeschwindigkeitsservern mit einem zentralen Scheduler, der die parallele Rechenlast verwaltet. Die als Knoten bezeichneten Computer verwenden entweder leistungsstarke Multi-Core-CPUs oder – was heute wahrscheinlicher ist – GPUs, die sich gut für strenge mathematische Berechnungen, maschinelle Lernmodelle und grafikintensive Aufgaben eignen. Ein einzelner HPC-Cluster kann 100.000 oder mehr Knoten umfassen.

Linux ist das am häufigsten verwendete Betriebssystem für die Ausführung von HPC-Clustern. Weitere Betriebssysteme sind Windows, Ubuntu und Unix.

Alle anderen Rechen-Ressourcen in einem HPC-Cluster – wie Netzwerke, Arbeitsspeicher, Speicher und Dateisysteme – sind Hochgeschwindigkeits- und Hochdurchsatzressourcen. Es gibt auch Komponenten mit geringer Latenz, die mit den Knoten Schritt halten und die Rechenleistung des Clusters optimieren können.

HPC-Workloads basieren auf einer Message Passing Interface (MPI), einer Standardbibliothek und einem Protokoll für die parallele Computerprogrammierung, die es Benutzern ermöglicht, zwischen Knoten in einem Cluster oder über ein Netzwerk hinweg zu kommunizieren.

Hochleistungs-Computing (HPC) basiert auf konventionellen Bits und Prozessoren, die auch im klassischen Computing verwendet werden. Im Gegensatz dazu verwendet Quantencomputing spezialisierte Technologie-basierte Quantenmechanik, um komplexe Probleme zu lösen. Quantumalgorithmen schaffen multidimensionale Rechenräume, die eine viel effizientere Möglichkeit sind, komplexe Probleme zu lösen – wie die Simulation des Verhaltens von Molekülen –, die klassische Computer oder Supercomputer nicht schnell genug lösen können. Es wird nicht erwartet, dass Quantencomputing HPC in so kurzer Zeit ersetzen wird. Vielmehr können die beiden Technologien kombiniert werden, um Effizienz und optimale Leistung zu erreichen.

Noch vor einem Jahrzehnt war HPC aufgrund der hohen Kosten für den Besitz oder das Leasing eines Supercomputers oder den Bau und das Hosting eines HPC-Clusters in einem lokalen Rechenzentrum für die meisten Unternehmen undenkbar.

Heute bietet HPC in der Cloud – manchmal auch als HPC as a Service oder HPCaaS bezeichnet – eine deutlich schnellere, skalierbarere und kostengünstigere Möglichkeit für Unternehmen, die Vorteile von HPC zu nutzen. HPCaaS umfasst in der Regel den Zugriff auf HPC-Cluster und Infrastruktur, die im Rechenzentrum eines Cloud-Service-Anbieters gehostet werden, sowie Netzwerkfunktionen (wie KI und Datenanalyse) und HPC-Know-how.

Heute treiben drei konvergierende Trends HPC in der Cloud voran:

Unternehmen in allen Branchen sind zunehmend auf die Echtzeit-Erkenntnisse und den Wettbewerbsvorteil des Einsatzes von HPC-Anwendungen zur Lösung komplexer Probleme angewiesen. Beispielsweise stützt sich die Erkennung von Kreditkartenbetrug – auf die wir uns alle verlassen und die die meisten von uns schon einmal erlebt haben – zunehmend auf HPC, um Betrugsfälle schneller zu erkennen und lästige Fehlalarme zu reduzieren, selbst wenn die Betrugsaktivitäten zunehmen und sich die Taktiken der Betrüger ständig ändern.

Seit der Einführung von Technologien wie ChatGPT haben Organisationen schnell das Versprechen von generativer KI genutzt, um Innovationen zu beschleunigen und Wachstum zu fördern. Diese Entwicklung hat die Nachfrage nach High Performance Computing noch weiter erhöht. HPC bietet die hohe Rechenleistung und die Skalierbarkeit, um große KI-gestützte Workloads zu unterstützen. Einem Bericht von Intersect 360 Research zufolge belief sich der weltweite Markt für skalierbare Computing-Infrastruktur für HPC und KI im Jahr 2023 auf 85,7 Milliarden US-Dollar, ein Anstieg von 62,4 % im Jahresvergleich, was vor allem auf eine nahezu Verdreifachung der Ausgaben von Hyperscale-Unternehmen für ihre KI-Infrastruktur zurückzuführen ist.²

Mithilfe von RDMA (Remote Direct Memory Access) kann ein vernetzter Computer auf den Speicher eines anderen vernetzten Computers zugreifen, ohne das Betriebssystem einer der Computer zu beeinträchtigen oder die Verarbeitung der beiden Computer zu unterbrechen. Dies trägt dazu bei, die Latenz zu minimieren und den Durchsatz zu maximieren, wodurch Engpässe bei der Speicherbandbreite reduziert werden. Neue RDMA-Strukturen mit hoher Leistung – darunter InfiniBand, virtuelle Schnittstellenarchitektur und RDMA über konvergentes Ethernet – machen Cloud-basiertes HPC möglich.

Heute bietet jeder führende Cloud-Service-Anbieter, einschließlich Amazon Web Services (AWS), Microsoft Azure, Google Cloud und IBM Cloud®, HPC-Services an. Während einige Unternehmen weiterhin stark regulierte oder sensible HPC-Workloads vor Ort ausführen, übernehmen viele private Cloud-HPC-Dienste, die von Hardware- und Lösungsanbietern bereitgestellt werden, oder migrieren zu diesen.

HPC in der Cloud ermöglicht es Unternehmen, viele Rechenressourcen zur Lösung komplexer Probleme einzusetzen, und bietet die folgenden Vorteile:

• Schnelle Konfiguration und Bereitstellung intensiver Workloads.

• Verkürzen Sie die Zeit bis zum Erreichen von Ergebnissen durch Skalierung mit bedarfsgerechter Kapazität.

• Steigern Sie die Kosteneffizienz, indem Sie Technologie optimal auf Ihre Bedürfnisse abstimmen und nur für die tatsächlich genutzte Energie bezahlen.

• Nutzen Sie die Verwaltungstools und den Support von Cloud-Providern, um Ihre spezifischen HPC-Workloads zu entwickeln.

HPC-Anwendungen sind zum Synonym für KI geworden, insbesondere Apps für maschinelles Lernen (ML) und Deep Learning. Heute werden die meisten HPC-Systeme für diese Workloads konzipiert.

Von der Datenanalyse bis hin zur Spitzenforschung treibt HPC kontinuierliche Innovation in Anwendungsfallen in den folgenden Branchen voran: