- IT&Production - https://www.it-production.com -

Am Supercomputer simuliert

Engineering mit Rechenkraft beschleunigen

Am Supercomputer simuliert

Das Potential eines Supercomputers für die simulationsgestützte Produktentwicklung ist erheblich. Doch die Hürden vor einem Einsatz schrecken viele Unternehmen ab. Im Projekt HiPerSim4All wird an der Universität Bayreuth daran gearbeitet, den Zugang zu dieser Technologie zu vereinfachen und die dafür benötigte IT-Expertise auf Seite der Anwender zu senken.

Der Bayreuther Supercomputer btrzx4 besteht aus miteinander verbundenen Rechenknoten in speziellen Serverracks. (Bild: Universität Bayreuth) [1]

Der Bayreuther Supercomputer btrzx4 besteht aus miteinander verbundenen Rechenknoten in speziellen Serverracks. (Bild: Universität Bayreuth)

Technische Simulationen, allen voran die Finite-Elemente-Analyse (FEA), ist seit Jahren Stand der Technik und wird in vielen Unternehmen in der Produktentwicklung eingesetzt. Der Bedarf einer realitätsnäheren virtuellen Abbildung von Produkten und Produktionsprozessen resultiert jedoch in einer zunehmenden Komplexität dieser Simulationen. Dadurch können die Rechenzeiten mehrere Tage dauern. Die Nutzung von Supercomputern bietet Möglichkeiten den Produktentwicklungsprozess effizienter zu gestalten und Entwicklungszeiten zu verkürzen. Jedoch ist der Einstieg keineswegs trivial. Daher begleiten Mitarbeiter der Universität Bayreuth im Rahmen des EU-geförderten Projekts ‚HiPerSim4All‘ Unternehmen bei der Umsetzung und unterstützen bei der Methoden- und Prozessentwicklung sowie dem Wissensaufbau der Mitarbeiter.

Workstations an der Grenze

Zu den Projektpartnern des am Lehrstuhl für Konstruktionslehre und CAD (LSCAD) angesiedelten Projektes zählen vor allem kleine und mittelständische Unternehmen: Vom Ingenieurdienstleister bis hin zum OEM-Zulieferer. Die meisten der Projektteilnehmer setzen bei Simulationen auf aufgerüstete Workstations. Diese zeichnen sich meist durch mehrere Gigabyte große Arbeitsspeicher und schnelle Mehrkernprozessoren aus, was für kleine und mittelgroße Simulationen in der Regel ausreicht. Das Problem sind die immer häufiger gefragten großen und komplexen Simulationen. So werden Multi-Physik-Simulationen und das detaillierte Abbilden sehr großer Strukturen oft zu einem Problem, da entweder die Rechenzeiten unverhältnismäßig lang werden oder die Größe des verfügbaren Arbeitsspeichers limitierend wirkt. Die Gründe dafür liegen vereinfacht ausgedrückt am Skalierungsverhalten der FEA und den thermischen Eigenschaften der Prozessoren. Supercomputer können diese Limitationen überwinden und sind keinesfalls nur für Großunternehmen interessant.

Nicht nur für Konzerne

Bei einem Supercomputer handelt es sich im Grunde um mehrere unabhängige Computer (Rechenknoten), die über ein Hochgeschwindigkeitsnetzwerk verbunden sind und ein Cluster bilden. Jeder Rechenknoten ist wiederrum mit einem oder mehreren Multi-Core-Prozessoren bestückt, was eine Parallelisierung der Lösung auf mehreren Ebenen ermöglicht: Zunächst können Partitionierungsalgorithmen die ursprüngliche Problemstellung (Domain) in mehrere Subdomains aufteilen und diese über die verfügbaren Rechenknoten verteilen. Innerhalb jeder Subdomain kann wiederrum eine weitere Partitionierung durchgeführt und/oder eine Beschleunigung der mathematischen Operationen durch Ausnutzung des Parallelisierungspotentials der Prozessorkerne erreicht werden. Insbesondere bei der Dimensionierung und Auslegung von genormten Produkten mit unterschiedlichen Lastkollektiven können Unternehmen durch Simulationen mit Supercomputern Kosten sparen. Um einen Eindruck von den Chancen für die Produktentwicklung zu vermitteln, wurde am LSCAD der simulationsgestützte Auslegungsprozess eines elektrischen Antriebes hinsichtlich der thermischen Verlustleistung optimiert. Dies ist numerisch aufwendig, da die realistische Bestimmung des Temperaturprofils, sowohl einer Bestimmung der konvektiven Wärmeübergänge, als auch der abstrahlenden Wärme bedarf. Jedoch erfordert die Simulation der Strahlungsvorgänge eine sehr aufwendige Sichtfaktorbestimmung, die stark von der Kühlrippengeometrie abhängig ist und daher detailliert abgebildet werden muss und dementsprechend die Berechnungszeiten erhöht. Sollen dann noch viele Produktvarianten berechnet werden, kann das ohne einen Supercomputer unverhältnismäßig lange dauern.

Engineering mit Rechenkraft beschleunigen

Am Supercomputer simuliert

Die exakte Berechnung der Temperaturfelder ist bei Antrieben wichtig, um Temperatur-Hotspots zu vermeiden. (Bild: Universität Bayreuth) [2]

Die exakte Berechnung der Temperaturfelder ist bei Antrieben wichtig, um Temperatur-Hotspots zu vermeiden. (Bild: Universität Bayreuth)

Software und Lizenzkosten

Da die einzelnen Rechenknoten eines Supercomputers jeweils über einen eigenen Speicher verfügen und die Prozesse während der Berechnung Daten austauschen müssen, werden spezielle Solver benötigt. Fast alle kommerzielle FEA- und CFD-Softwareanbieter bieten heutzutage sogenannte Distributed Memory Solver an. Die eingesetzten Routinen können jedoch variieren. So ist es möglich, dass die Software A für eine Modalanalyse eine ganz andere Parallelisierungsstrategie einsetzt als Software B. Dies resultiert in unterschiedlichen Rechenzeiten und mitunter abweichenden Ergebnisgüten. Häufig ist die konkrete Implementierung der numerischen Methoden nicht bekannt, was die Nachvollziehbarkeit und Interpretation von Ergebnissen erschwert. Ein weiteres Problem für die Akzeptanz von Supercomputern stellen die Lizenzkosten dar, denn ein Großteil der Softwareanbieter lizenzieren nach einem ressourcenbasierten Token-Modell. Besonders im Super-Computing Bereich, wo schnell einige hundert bis tausend Prozessorkerne eingesetzt werden, müssen Unternehmen eine größere Anzahl an Lizenztokens vorrätig halten, was die operativen Kosten negativ beeinflusst. Abhilfe kann der Rückgriff auf Open-Source- oder Freeware-Lösungen sein, die teilweise über sehr gute und geeignete Solver verfügen, welche jedoch häufig nicht so komfortabel zu bedienen sind. In Hinblick auf Performance und Ergebnisgüte sind diese in vielerlei Hinsicht den kommerziellen Lösungen ebenbürtig und eignen sich zudem aufgrund der meist umfangreichen Dokumentationen gut für die Automatisierung von Prozessen.

Simulationsprozesse automatisieren

Grundlage jeder Simulation ist die Diskretisierung (Vernetzung) der zu untersuchenden Strukturen. Die Qualität der Netze beeinflusst Ergebnisgüte und Rechendauer entscheidend: Je feiner das Netz, desto größer ist das mathematische Problem und desto länger sind die Rechenzeiten. Die Entwicklung der Distributed Memory Solver konzentriert sich größtenteils auf das schnelle Lösen der Gleichungssysteme. Mit immer größer und detaillierteren Strukturen steigt aber auch Aufwand auf Seiten der Netzgenerierung. Und dieser Prozessschritt lässt sich schwer auf Supercomputer auslagern, da die Beurteilung der Netzqualität (und damit der Vertrauenswürdigkeit der Ergebnisse) eine maßgeblich kognitive Aufgabe des Ingenieurs ist. Eine automatische Tetraeder-Vernetzung in Kombination mit Qualitätsparametern zur Steuerung des Prozesses ist zwar möglich, der Erfahrung nach jedoch schwierig umzusetzen, da ‚feiner‘ nicht grundsätzlich ‚besser‘ bedeutet. Wie Untersuchungen im Projekt zeigten, streuen die Abweichungen der numerischen zu den exakt berechneten Spannungen stark und nicht nur bei den groben Netzen. Daher wird im Projekt intensiv mit dem Partner LeoSim Technologies zusammen daran geforscht, automatisierte und robuste Vernetzungsprozesse zu realisieren.

Herausforderung Datentransfer

Stand heute ist weiterhin zu empfehlen, die Netzgüte vor Berechnungsbeginn zu prüfen und sich nicht auf die Ergebnisse der automatischen Vernetzter zu verlassen. Der damit verbundene Medienbruch führt zu aufwendigen Datenübertragungsprozessen vom Supercomputern auf die Arbeitsplätze der Anwender. Da es sich meist um erhebliche Datenmengen handelt, belastet das die Firmennetzwerke und verhindert durch die Wartezeiten auch ein wirtschaftliches Arbeiten, sofern sich die Daten überhaupt verarbeiten oder visualisiert lassen. Gerade Unternehmen ohne Breitband-Anbindung trifft dieses Problem schwer. Als Best Practice hat sich in Bayreuth die Installation eines Terminalservers im Netzwerk des Supercomputers etabliert. Durch die Bereitstellung des virtuellen Desktops können Pre- und Postprocessing seitens der Praxispartner ausgelagert werden. Der Großteil der Daten bleibt im Netzwerk des Supercomputers und der Datentransfer zum Anwender beschränkt sich auf den Fernzugriff, etwa über eine VPN-gesicherte oder eine RDP-Verbindung.