Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Beitrag drucken

Datenspeicher-Infrastruktur

Open Source contra kommerzielle parallele Dateisysteme – Wahrheit und Fiktion in einer HPC-Welt

Bei ständig wachsenden Datenmengen kommt es auf leistungsfähige Speicher an. HPC-Datenspeichersysteme bieten eine Möglichkeit dieser Problematik entgegenzutreten. Dabei gibt es die Wahl zwischen Opensource- und kommerziellen Systemen.

Bild: Panasas

Bild: Panasas

High-Performance Computing (HPC) und dessen Fähigkeit, große Datenmengen schnell zu speichern, zu verarbeiten und zu analysieren, treibt Innovationen voran. Da Unternehmen zunehmend auf neue Technologien wie künstliche Intelligenz (KI), maschinelles Lernen und Augmented Reality setzen, suchen sie nach leistungsfähigen Datenspeicherinfrastrukturen. HPC-Datenspeichersysteme basieren dabei auf parallelen Dateisystemen. Bei der Systemwahl können Unternehmen auf Open Source-Modelle oder kommerzielle parallele Dateisysteme zurückgreifen.

Anschaffungskosten – Was kann besser sein als kostenlos?

Open-Source-Produkte sind in aller Regel kostenlos für den Anwender — so auch bei bei parallelen Dateisystemen wie etwa Lustre oder BeeGFS. Unternehmensanwender können von einem solchen Systemen jedoch überfordert sein, da sie oftmals nicht die Handhabbarkeit und Benutzerfreundlichkeit bieten, wie die bestehende IT-Umgebung. Berücksichtigt man die Kosten für den zusätzlichen Personalbedarf zur Implementierung und Verwaltung eines parallelen Open-Spource-Dateisystems, sind mit der ‘kostenlosen‘ Anschaffung doch höhere Kosten verbunden. Kommerzielle parallele Dateisysteme werden als Plug-and-Play-Systeme geliefert, wodurch sich die Gesamtbetriebskosten in Grenzen halten. Darüber hinaus sind kommerzielle Systeme in der Lage, sich bei veränderten Workloads automatisch zu optimieren und neu anzupassen, was die Opportunitätskosten von Ausfallzeiten reduziert.

Individuelle Anpassung

Bei Open-Source-Dateisystemen können individuelle Codes implementiert werden und sie haben die Möglichkeit, die Funktionalität des Codes zu modifizieren, anzupassen und zu erweitern, um den spezifischen Arbeitsabläufen ihres Unternehmens gerecht zu werden. Aber sind Anwender auf der Suche nach Anpassbarkeit oder sehnen sie sich nach mehr Flexibilität? Wenn eine echte Anpassung erforderlich ist, sollten Unternehmensanwender die Art der Fähigkeiten und die Anzahl der Mitarbeiter einschätzen, die für eine erfolgreiche Anpassung und für den Support des Open-Source-Codes erforderlich sind. Ist Flexibilität das oberste Ziel, bieten wiederum kommerzielle Dateisysteme Anpassungsmöglichkeiten an sich ändernde Arbeitsabläufe, ohne Änderungen am Code vorzunehmen.

Kommerzielle Dateisysteme mit industrietauglicher Hardware sind selbstoptimierende Systemlösungen, die speziell für Anpassungsfähigkeit und Flexibilität in einer Vielzahl von Anwendungsfällen entwickelt worden sind. Anwender können das System nach ihrem Workload-Bedarf konfigurieren, ohne dass einzelne Komponenten überdimensioniert werden. Die Skalierbarkeit der Systeme ist uneingeschränkt und Bandbreite, Kapazität und Metadatenleistung können unabhängig voneinander eingestellt werden.

Bild: Panasas

Bild: Panasas

Große Datensätze schnell erarbeiten

Kommerzielle Systeme haben zudem die bisherige Performance-Lücke bei Open Source geschlossen. Die Leistung von Dateisystemen mit Open Source ist vergleichbar mit kommerziellen portablen Dateisystemen, die die neueste Hardware- und Speichertechnologie nutzen. Die Fähigkeit, schnell und unterbrechungsfrei zu skalieren, ist wesentlich bei kommerziellen Anwendungen, um auf Kurs zu bleiben und anspruchsvolle Markteinführungs-Zeitpläne einzuhalten. Die Verarbeitung größerer Datensätze mit hoher Genauigkeit bei gleichzeitiger Verarbeitung Tausender I/O-Operationen ist ein Muss beim Einsatz von High-End-Computing im kommerziellen Bereich. Beispiele dafür sind Simulation und Analyse mit computergestütztem Engineering (CAE), Energieerkundung und Medikamentenentwicklung sowie neu entstehende Arbeitsbereiche wie KI und autonomes Fahren.

Die Leistung wird optimiert und bleibt zuverlässig, wenn Soft- und Hardware zuvor abgestimmt werden, sodass sich das System automatisch an die steigende Komplexität anpassen kann. Dies ist der Fall bei portablen kommerziellen parallelen Dateisystemen, die für vorqualifizierte Standard-Hardwarekomponenten optimiert wurden und darauf abgestimmt sind. Open-Source-Dateisystemen kommt nicht die gleichen nahtlose Integration zugute, da sie oft tiefgreifende Kenntnisse über die Funktionsweise des Speichersystems erfordern, um es auf die maximale Leistung und Bandbreitennutzung abzustimmen und laufend neu einzustellen, die von verschiedenen Workloads benötigt werden.

Systemwartung – Was braucht es, damit die Dinge zuverlässig laufen?

In der schnelllebigen Welt von High Performance Computing nehmen Anwender immer wieder neue und komplexe Projekte in Angriff. Datenspeicherung ist dabei eine wesentliche Komponente, um geschäftskritische Arbeitsergebnisse zu erreichen. Lösungen sind zudem einfach zu implementieren und zu skalieren. Es entsteht ein sich selbst verwaltendes System, in dem alle typischen Wartungsabläufe und die Datensicherheit automatisiert werden, wodurch Ausfallzeiten oder die Gefahr von Datenverlusten gesenkt wird. Kommerzielle Dateisysteme beherrschen diesen automatisierten Betrieb, während viele Open-Source-Lösungen einer täglichen Speicherverwaltung und -wartung bedürfen.

Bild: Panasas

Bild: Panasas

Der Bedarf an leistungsfähiger Datenspeicher-Infrastruktur ist auf Unternehmensseite nicht zu unterschätzen. Die enormen Datenmengen, die beispielsweise durch KI-Technologien generiert werden, wachsen immer weiter an. HPC-Datenspeichersysteme — egal ob kommerziell oder Open Source — ermöglichen die Nutzung dieser Technologien. Bei der Wahl des Systems sollte dabei nicht nur der Kostenfaktor eine Rolle spielen, sondern auch geprüft werden, welcher Aufwand mit der Implementierung eines entsprechenden Systems verbunden ist.


Das könnte Sie auch interessieren:

Der Aufbau einer kabelgebundenen Ortungsinfrastruktur auf großen Flächen wie Lagerhallen, Baustellen oder in der Prozessindustrie ist kostspielig und zeitaufwendig.‣ weiterlesen

KI-getriebene Convolutional Neuronal Networks in selbstfahrenden Autos sollen andere Verkehrsteilnehmer erkennen. Dabei gilt: Je selbstständiger das Auto, desto komplexer der Algorithmus und undurchschaubarer dessen Weg zur getroffenen Entscheidung. Ein Validierungs-Tool soll helfen, diesen besser zu verstehen.‣ weiterlesen

Erfolgreiche KI-Projekte kombinieren das Domänenwissen von Prozessbeteiligten mit der Expertise von Datenanalysten und IT-Spezialistinnen. Da nicht jedes Maschinenbauunternehmen über diese drei wichtigen Kompetenzfelder verfügt, sind Kooperationen wichtige Bestandteile von KI-Projekten.‣ weiterlesen

Extreme Networks hat die Verfügbarkeit des Wi-Fi 6E Access Point bekanntgegeben. Als Wireless-Plattform erweitert der Zugangspunkt den Einsatzbereich auf das 6GHz-Frequenzband. Das Gerät wurde für Umgebungen mit hohen Anforderungen an Bandbreite und Nutzerdichte entwickelt und zeichnet sich Anbieterangaben zufolge durch seine Perfomance, Funktionalität und Sicherheit aus.‣ weiterlesen

Die Ersatzteilversorgung in der Automobilindustrie besitzt einen sehr kurzfristigen Charakter. Anwendungen zum Abbilden solcher Prozesse sind S/4Hana Supply Chain Management sowie S/4Hana-Automotive-Ersatzteilmanagement. Die wichtigen Zielgrößen für die Versorgungsqualität sind Lieferservicegrad und Time-to-Delivery.‣ weiterlesen

Im Cloud-Projekt Gaia-X entstehen Infrastruktur-Angebote, mit denen Hersteller digitale und vernetzte Produkte entwickeln können, ohne in Abhängigkeit zu Technologiekonzernen zu geraten. Die Strukturen dafür sind bereits etabliert. Jetzt ist es an den Produzenten, durch ihre Mitwirkung aus dem Projekt eine europäische Erfolgsgeschichte zu machen.‣ weiterlesen

Werma bietet ein neues Ruf- und Meldesystem zur Prozessoptimierung in Fertigung, Logistik und an manuellen Arbeitsplätzen an. Mit dem Andon WirelessSet lassen sich Probleme bei der Produktion per Knopfdruck melden, um die Behebung zu beschleunigen.‣ weiterlesen

Alle Werte einer Lieferkette im Blick zu behalten, ist eine Mammutaufgabe - können diese doch schnell in die Millionen gehen. Behälter mit benötigten Materialien müssen nicht mal verschwinden, schon der falsche Lagerplatz im Werk kann die Produktion ausbremsen. Tracker können dafür sorgen, dass nichts Wichtiges aus dem Blick gerät.‣ weiterlesen

Siemens und Zscaler arbeiten zusammen, um Kunden den sicheren Zugriff vom Arbeitsplatz im Büro oder mobil auf Operational-Technology(OT)-Systeme und -Anwendungen im Produktionsnetzwerk zu ermöglichen.‣ weiterlesen

Der österreichische Ableger von Bechtle hat Open Networks erworben. Die neuen Spezialisten bringen insbesondere Erfahrung in den Bereichen Application Services, Datacenter, Security und Netzwerk mit. Die Firma betreut rund 250 Kunden im Alpenstaat.‣ weiterlesen

Viele Konzepte etwa für Modern Workplaces und Digitalisierung hinterfragen Unternehmenskonzepte, die auf traditionelle Strukturen und Hierarchien setzen. Robert Lindner, Senior Regional Director & Country Manager Germany bei Red Hat, hat vier zentrale Grundsätze herausgearbeitet, wie sich Innovation befördern lässt, insbesondere als ein Unternehmen im Open-Sorce-Softwaremarkt.‣ weiterlesen

Anzeige
Anzeige
Anzeige