Plattform für den Data Lake

Navigieren auf dem Datensee

Eine Methode zur Verwaltung großer Datenmengen ist das Anlegen eines Data Lakes. Dort liegen Rohdaten in ihrem ursprünglichen Format ab, statt sich auf verschiedene Silos im Unternehmen zu verteilen. Mit speziellen Plattformen für das Datenmanagement lassen sich diese Informationspools analysieren und der Umgang mit ihnen automatisieren. Viele Aufgaben der IT-Sicherheit und Compliance gehen so leichter von der Hand.

Bild: © NicoElNino / Fotolia.com

Immer mehr Unternehmen gehen dazu über, ihre stetig wachsenden Datenvolumen in großen Data Lakes abzulegen. Darin werden Rohdaten in ihrem Ausgangsformat gespeichert und erst abgerufen sowie in ein anderes Format umgewandelt, wenn sie tatsächlich benötigt werden. Dabei verfügt jedes Datenelement über ein einzigartiges Merkmal und ist durch einen Satz von Metadaten gekennzeichnet. Dieses Speicherkonzept bietet u.a. den Vorteil, dass es sich um eine flache Architektur handelt. In einem Data Warehouse, in dem Daten hierarchisch in Files und Folders abgespeichert werden, handelt es sich beim Data Lake um eine flache Architektur. Dadurch kann dieser eine nahezu unbegrenzte Menge an Informationen aufnehmen. Zudem lassen sich logische Zusammenhänge zwischen den Daten untereinander schneller erkennen und nutzen. Dies beschleunigt die Analyse großer Datenmengen deutlich.

Günstige Lagerkosten

Darüber hinaus ist im Data Lake die Aufbewahrung der Daten verglichen mit einem Data Warehouse kostengünstiger. Zudem können Data Lakes dazu beitragen, Informationssilos in Unternehmen aufzubrechen und über alle Abteilungen hinweg einen großen, einheitlichen Daten-Pool zur Verfügung zu stellen. So lassen sich Aufgaben auf dem Feld Business Analytics und Data Mining leichter umsetzen.

ANZEIGE

Wie Sie smarter automatisieren

Prozesse optimieren und Kosten senken? Bildanalysen mit KI können dabei wertvolle Hilfe bieten. Auf der automatica in München stellt IDS neue Produkte und Möglichkeiten vor. Erhalten Sie hier einen Einblick, was das Unternehmen an Stand B5.203 zeigen wird.‣ weiterlesen

Automatisiert und orchestriert

Die daraus gewonnenen Erkenntnise sollen helfen, das Unternehmen strategisch auszurichten, Betriebskosten zu senken, den Kundenservice zu verbessern und Risiken zu minimieren – so erwarten es Datenexperten. Doch gerade im Hinblick auf neue Compliance-Vorschriften wie die europäische Datenschutzgrundverordnung (DSGVO) steigen die Anforderungen an den Umgang mit Data Lakes, der tendenziell zunehmend automatisiert und effizient orchestriert werden soll. Erschwert wird das, wenn die gespeicherten Informationen in einer heterogenen Infrastruktur bestehend aus On-premises-Systemen und öffentlichen sowie privaten Cloud-Instanzen verflochten sind.

Bild: © Raw pixel / Unsplash.com

Management-Plattform

Auf dem Markt verfügbare spezielle Datenmanagement-Plattformen helfen Anwender dabei, anfallende Daten – insbesondere auch unstrukturierte Daten – über Unternehmensbereiche hinweg zu analysieren, zu kennzeichnen und zu indexieren. In Bezug auf die DSGVO können Firmen mit solchen Plattformen zum Beispiel Kundennamen, E-Mail-Adressen, Anschriften, Telefonnummern oder Statuskommentare schnell und automatisiert auffinden sowie bereitstellen. Das funktioniert unabhängig vom Speicherort, also in lokalen On-premises-Systemen und angebundener Cloud-Infrastrukturen. Auf diese Weise können Informationen selbst in flachen Data-Lake-Architekturen lokalisiert werden.

Single-Source-of-Truth

Die Plattformen können auch für die Übertragung von Daten aus Rechenzentren in die Cloud und zurück sowie zwischen verschiedenen Cloud-Plattformen sorgen. Auch lassen sich Datenmanagement-Prozesse wie Backup, Recovery und Archivierung vergleichsweise einfach abwickeln und automatisieren. Im Sinne einer Single-Source-of-Truth stehen so die Daten eines Unternehmens einheitlich für Auswertungen zur Verfügung. Zudem lassen sich die Daten auf Applikationsebene vor Hacker-Angriffen durch Ransomware und andere Malware schützen. Ist ein Angreifer dennoch durchgekommen, helfen die Plattformen beim Disaster Recovery.

ANZEIGE

Intelligente Bestellprozesse

Die innovativen Retarus Cloud Services für Integration und Automatisierung machen Prozesskommunikation agiler, sicherer und zuverlässiger.‣ weiterlesen

Fazit

Mit dem Einrichten eines Data Lakes lässt sich die im Rahmen der Digitalisierung anfallende Datenflut besser bewältigen. Unternehmen können damit eine Silo-basierte Datenhaltung auflösen. Datenmanagement-Lösungen helfen dabei, selbst große Datensammlungen zu analysieren. Solche Lösungen bieten Funktionen rund um Backup, Recovery und Archivierung, zuweilen auch mit Automatisierungswerkzeugen. Mit einem nach dem Single-Source-of-Truth-Prinzip vorgehaltenen Datenpool lassen sich zudem unterschiedliche Datenschutzbestimmungen wie die DSGVO einfacher einhalten.

Das könnte Sie auch interessieren:

VDMA zum Auftragseingang im April
Maschinen- und Anlagenbau startet schwach ins Frühjahr

Die Bestellungen im Maschinen- und Anlagenbau gingen im April um 20 Prozent gegenüber Vorjahr zurück, meldet der VDMA. Schon im März lag der Wert sechs Prozent im Minus‣ weiterlesen

Anwendungen für Ressourceneffizienz
Nachhaltiger wirtschaften mit IoT

Nicht nur EU und Bundesregierung erwarten von der Wirtschaft, auch die Verbraucher fordern einen bewussteren Umgang mit Ressourcen. Mit einer Internet of Things-Applikation lässt sich an den Stellschrauben dazu drehen, meldete das IT-Infrastruktur- und Dienstleistungsunternehmen NTT kürzlich.‣ weiterlesen

Maintenance in Dortmund
Viele Besucher und positives Feedback

Am 24. und 25. Mai stand Dortmund im Zeichen der industriellen Instandhaltung. Mehr als 4.000 Besucher und rund 200 Aussteller zählte der Veranstalter Easyfairs am Ende der diesjährigen Maintenance.‣ weiterlesen

Konjunkturbarometer Einkaufsmanagerindex
Exporte der Industrieproduktion gehen im Mai zurückgegangen

Die Geschäftsbedingungen in der deutschen Industrie wurden im Mai schlechter, meldet das BME im Einkaufsmanagerindex EMI. Vor allem im Ausland ging die Nachfrage kräftiger zurück, teilt der US-amerikanische Finanzdienstleister S&P Global mit, der hinter der Analyse steht.‣ weiterlesen

Unternehmensjubiläum
GFOS wird 35

Die GFOS blickt auf 35 Jahre Unternehmensgeschichte zurück und blickt in diesem Zuge auch in die Zukunft. So will der Softwareanbieter seine Geschäftsaktivitäten international erweitern.‣ weiterlesen

Digitaler Zwilling
Mitsubishi Electric tritt IDTA bei

Die 2020 gegründete IDTA wächst und begrüßt mit Mitsubishi Electric Europe ihr 100. Mitglied.‣ weiterlesen

Wechsel an der Fraunhofer-Spitze
Holger Hanselka wird Präsident der Fraunhofer-Gesellschaft

Prof. Dr.-Ing. Holger Hanselka, Präsident des Karlsruher Instituts für Technologie (KIT) wird der 11. Präsident der Fraunhofer-Gesellschaft und löst Prof. Dr.-Ing. Reimund Neugebauer nach fast elf Jahren ab.‣ weiterlesen

Neuer Vorstand
Wechsel an der Spitze bei DMG Mori

Christian Thönes, Vorstandsvorsitzender bei DMG Mori, hat am Donnerstag sein Amt niedergelegt. Sein Vertrag wurde im Rahmen einer Aufsichtsratssitzung einvernehmlich beendet. Alfred Geißler wurde vom Aufsichtsrat zum Nachfolger bestellt.‣ weiterlesen

40 Jahre Microsoft in Deutschland
Microsoft feiert Geburtstag und eröffnet Experience Center

Microsoft feiert 40. Geburtstag in Deutschland und eröffnet ein europäisches Experience Center in München. Es ist eines von vier Experience Centern weltweit.‣ weiterlesen

Neues Whitepaper der Plattform Lernende Systeme
Wo bleiben die europäischen KI-Sprachmodelle?

Expertinnen und Experten der Plattform Lernende Systeme beleuchten in einem neuen Whitepaper, wie es um die Entwicklung europäischer bzw. deutscher KI-Sprachmodelle bestellt ist.‣ weiterlesen

Ifo Geschäftsklimaindex im Mai
Skeptischer Blick auf den Sommer

Nach 93,4 Punkten im Vormonat, fällt der Ifo Geschäftsklimaindex im Mai auf 91,7 Punkte – der erste Rückgang in sechs Montanen. ‣ weiterlesen