Anzeige
Anzeige
Anzeige
Beitrag drucken

Plattform für den Data Lake

Navigieren auf dem Datensee

Eine Methode zur Verwaltung großer Datenmengen ist das Anlegen eines Data Lakes. Dort liegen Rohdaten in ihrem ursprünglichen Format ab, statt sich auf verschiedene Silos im Unternehmen zu verteilen. Mit speziellen Plattformen für das Datenmanagement lassen sich diese Informationspools analysieren und der Umgang mit ihnen automatisieren. Viele Aufgaben der IT-Sicherheit und Compliance gehen so leichter von der Hand.

Plattform für den Data Lake - Navigieren auf dem Datensee

Bild: © NicoElNino / Fotolia.com

Immer mehr Unternehmen gehen dazu über, ihre stetig wachsenden Datenvolumen in großen Data Lakes abzulegen. Darin werden Rohdaten in ihrem Ausgangsformat gespeichert und erst abgerufen sowie in ein anderes Format umgewandelt, wenn sie tatsächlich benötigt werden. Dabei verfügt jedes Datenelement über ein einzigartiges Merkmal und ist durch einen Satz von Metadaten gekennzeichnet. Dieses Speicherkonzept bietet u.a. den Vorteil, dass es sich um eine flache Architektur handelt. In einem Data Warehouse, in dem Daten hierarchisch in Files und Folders abgespeichert werden, handelt es sich beim Data Lake um eine flache Architektur. Dadurch kann dieser eine nahezu unbegrenzte Menge an Informationen aufnehmen. Zudem lassen sich logische Zusammenhänge zwischen den Daten untereinander schneller erkennen und nutzen. Dies beschleunigt die Analyse großer Datenmengen deutlich.

Günstige Lagerkosten

Darüber hinaus ist im Data Lake die Aufbewahrung der Daten verglichen mit einem Data Warehouse kostengünstiger. Zudem können Data Lakes dazu beitragen, Informationssilos in Unternehmen aufzubrechen und über alle Abteilungen hinweg einen großen, einheitlichen Daten-Pool zur Verfügung zu stellen. So lassen sich Aufgaben auf dem Feld Business Analytics und Data Mining leichter umsetzen.

Automatisiert und orchestriert

Die daraus gewonnenen Erkenntnise sollen helfen, das Unternehmen strategisch auszurichten, Betriebskosten zu senken, den Kundenservice zu verbessern und Risiken zu minimieren – so erwarten es Datenexperten. Doch gerade im Hinblick auf neue Compliance-Vorschriften wie die europäische Datenschutzgrundverordnung (DSGVO) steigen die Anforderungen an den Umgang mit Data Lakes, der tendenziell zunehmend automatisiert und effizient orchestriert werden soll. Erschwert wird das, wenn die gespeicherten Informationen in einer heterogenen Infrastruktur bestehend aus On-premises-Systemen und öffentlichen sowie privaten Cloud-Instanzen verflochten sind.

Plattform für den Data Lake - Navigieren auf dem Datensee | Die anfallenden Daten aus den verschiedenen System sind erst dann nützlich, wenn sie den Weg zu den richtigen Geschäftsentscheidungen weisen.

Bild: © Raw pixel / Unsplash.com

Management-Plattform

Auf dem Markt verfügbare spezielle Datenmanagement-Plattformen helfen Anwender dabei, anfallende Daten – insbesondere auch unstrukturierte Daten – über Unternehmensbereiche hinweg zu analysieren, zu kennzeichnen und zu indexieren. In Bezug auf die DSGVO können Firmen mit solchen Plattformen zum Beispiel Kundennamen, E-Mail-Adressen, Anschriften, Telefonnummern oder Statuskommentare schnell und automatisiert auffinden sowie bereitstellen. Das funktioniert unabhängig vom Speicherort, also in lokalen On-premises-Systemen und angebundener Cloud-Infrastrukturen. Auf diese Weise können Informationen selbst in flachen Data-Lake-Architekturen lokalisiert werden.

Single-Source-of-Truth

Die Plattformen können auch für die Übertragung von Daten aus Rechenzentren in die Cloud und zurück sowie zwischen verschiedenen Cloud-Plattformen sorgen. Auch lassen sich Datenmanagement-Prozesse wie Backup, Recovery und Archivierung vergleichsweise einfach abwickeln und automatisieren. Im Sinne einer Single-Source-of-Truth stehen so die Daten eines Unternehmens einheitlich für Auswertungen zur Verfügung. Zudem lassen sich die Daten auf Applikationsebene vor Hacker-Angriffen durch Ransomware und andere Malware schützen. Ist ein Angreifer dennoch durchgekommen, helfen die Plattformen beim Disaster Recovery.

Fazit

Mit dem Einrichten eines Data Lakes lässt sich die im Rahmen der Digitalisierung anfallende Datenflut besser bewältigen. Unternehmen können damit eine Silo-basierte Datenhaltung auflösen. Datenmanagement-Lösungen helfen dabei, selbst große Datensammlungen zu analysieren. Solche Lösungen bieten Funktionen rund um Backup, Recovery und Archivierung, zuweilen auch mit Automatisierungswerkzeugen. Mit einem nach dem Single-Source-of-Truth-Prinzip vorgehaltenen Datenpool lassen sich zudem unterschiedliche Datenschutzbestimmungen wie die DSGVO einfacher einhalten.


Commvault-Plattform zum Datenmanagement setzt auf KI

Das IT-Unternehmen Commvault sieht als Anbieter einer Datenverwaltungsplattform großes Potenzial in den Bereichen künstliche Intelligenz, Machine Learning, maschinelle Sprachverarbeitung und mitdenkenden Suchfunktionen. Mit Lucidworks zusammen entwickelt das Unternehmen aktuell neue Lösungen auf Basis dieser Technologien. Ziel dabei ist es, KI-basierte Verfahren für bessere Datensicherungsprozesse zu nutzen. Unternehmen sollen so schneller nützliche Informationen aus ihren Datenbeständen extrahieren können. Und durch die Integration des Java-basierten Frameworks Apache Hadoop in die Commvault-Plattform können Firmen ihre Daten in entsprechenden Big-Data-Umgebungen effizient verwalten.


Das könnte Sie auch interessieren:

Google Cloud und Siemens wollen im Rahmen einer Partnerschaft und unter Einsatz von KI-Technologien Fertigungsprozesse verbessern.‣ weiterlesen

Die ZEW-Konjunkturerwartungen für Deutschland sinken in der aktuellen Umfrage vom April 2021 um 5,9 Punkte und liegen damit bei 70,7 Punkten. Dies ist der erste Rückgang seit November 2020. Laut ZEW liegen die Erwartungen nach wie vor auf einem sehr hohen Niveau.‣ weiterlesen

Drei Viertel der Entscheider in deutschen Industrieunternehmen sehen ihren Markt im Prozess der digitalen Transformation. Die Hälfte der Unternehmen setzt dabei bereits auf den Einsatz von Industrial IoT-Technologien. Zu diesen Ergebnissen kommt eines Studie des IIoT-Spezialisten Relayr, die unter 200 Entscheidern aus der Fertigungsindustrie in Deutschland im Sommer 2020 vom Marktforschungsunternehmen Forsa durchgeführt wurde.‣ weiterlesen

Damit die anspruchsvollen Maschinen von Heidelberger Druckmaschinen nicht ungeplant ausfallen, bietet das Unternehmen die Software Maintenance Manager zur vorausschauenden Wartung an. Jetzt hat Tochterunternehmen Docufy das Tool hinter der Lösung als White-Label-Angebot auf den Markt gebracht.‣ weiterlesen

Im Rahmen einer Partnerschaft wollen T-Systems und GFT gemeinsame Lösungen für die Fertigungsindustrie anbieten, mit denen Fehler in der Produktion schneller erkannt werden können.‣ weiterlesen

John Abel wechselt von Veritas zu Extreme Networks, wo er künftig die Position des CIOs wahrnehmen wird.‣ weiterlesen

Nach fünf Messetagen ging am Freitag die Hannover Messe zu Ende. Insgesamt 90.000 Teilnehmer haben sich für die digitale Edition der Industrieschau registriert. Auch ohne Präsenzveranstaltung zog die Deutsche Messe ein positives Fazit. Ein Ersatz sei die digitale Messe jedoch nicht, so Dr. Jochen Köckler, Vorstandsvorsitzender der Deutschen Messe. Die nächste Messe soll als Hybridveranstaltung teilnehmen.‣ weiterlesen

Produzierende Unternehmen brauchen Transparenz über Zusammenhänge, über Kosten und Erträge und die Prozessqualität. Business Intelligence ist die Antwort der Softwareanbieter für dieses Problem. Für SAP S/4Hana-Anwender könnte dafür insbesondere die SAP Analytics Cloud interessant sein.‣ weiterlesen

Seit gut eineinhalb Jahren betreibt Simus Systems eine Online-Plattform, auf der Auftraggeber und Auftragnehmer die Metallbearbeitung von Bauteilen kalkulieren - und das Interesse am Tool ist rege. Anwender laden ihr CAD-Modell hoch und erhalten eine valide Vorkalkulation des geplanten Bauteils.‣ weiterlesen

Erst die Interoperabilität von Maschinen und Anlagen ermöglicht Unternehmen die Teilhabe an neuen digitalen Strukturen und ist Grundvoraussetzung für neue digitale Geschäftsmodelle. Durch interoperable Schnittstellen können neue Maschinen effizienter integriert werden. Die VDMA-Studie ‘Interoperabilität im Maschinen- und Anlagenbau‘ zeigt die Relevanz von interoperablen Schnittstellen und dazugehörigen Standards in den Unternehmen.‣ weiterlesen

Im Gewerbebau gehört ein differenziertes Zutrittsmanagement zum Standard der meisten Ausschreibungen. Für Betriebe lohnt es, sich mit dem Thema zu beschäftigen. Denn die Infrastruktur sollte später neue Anforderungen im Besuchermanagement ohne hohe Mehrkosten abbilden können.‣ weiterlesen

Anzeige
Anzeige
Anzeige