Fundament für KI-Applikationen

Wie sammelt man Rohdaten im Data Lake?

Eine Voraussetzung bei der Entwicklung von industriellen KI-Anwendungen sind ausreichende Daten. Diese sind jedoch nicht immer in der benötigten Menge, Qualität oder Struktur vorhanden. Anhand eines konkreten Beispiels erläutert dieser Beitrag, wie sich ein Data Lake anlegen und mit Daten füllen lässt, bis er ein Fundament für quasi beliebige KI-Applikationen bildet.

Von der Datenerfassung zur KI-Applikation. (Bild: AIM – Agile IT Management GmbH)

Die AIM Agile IT Management hat sich darauf spezialisiert, Data Lakes zur Sammlung von historischen und Rohdaten anzulegen und in Betrieb zu nehmen, wie sie zur Entwicklung von industriellen KI-Anwendungen benötigt werden. Ein Data Lake hat die Aufgabe, Daten aus einer Datenquelle unstrukturiert und ohne eine Transformation zu speichern. So wird jede Änderung an Datensätzen roh abgelegt. Im späteren Verlauf entsteht eine Datenbasis, die sich zur Lösung von Problemstellungen analysiert lässt. Das illustriert folgendes Beispiel. Für die Softwarefirma MediFox sollte mit industrieller KI eine Anwendung erstellt werden, die die Kündigungswahrscheinlichkeit ihrer Kunden vorhersagen kann. Mit Hilfe einer solchen Vorhersage (Churn Prediction) sollte auf ein eventuelles Kündigungsrisiko reagiert werden können. Die Churn Prediction sollte aufgrund der vorhandenen Daten des Kundeninformationssystems (KIS), des Customer-Relationship-Management-Systems (CRM) und des Servicedesks des Kunden realisiert werden. Im Fall einer Churn-Prediction-Anwendung kann man durch eine nachträgliche Transformation auf die notwendigen Daten zugreifen:

ANZEIGE

Ressourcen schonen mit „Vision“

Bildverarbeitungstechnologie von IDS ermöglicht Unternehmen ihre Produktqualität zu verbessern und die Effizienz ihrer Produktionsprozesse zu steigern. Das spart wertvolle Ressourcen und hilft, umweltfreundlicher zu produzieren. ‣ weiterlesen

• • Wann hat sich ein Ansprechpartner beim Endkunden geändert?
• • Wann hat der Endkunde neue Lizenzen erworben bzw. wann wurde eine Lizenz verändert oder abbestellt?
• • Wie ist die Zahlungsmoral des Kunden über die Zeit hinweg?
• • Hierzu werden die Rohdaten aus drei verschiedenen Systemen benötigt:
• • Endkundeninformationen aus dem Kundeninformationssystem (KIS)
• • Rohdaten zu Service Requests und Incidents aus dem Jira Servicedesk
• • Lizenzinformationen aus einer Lizenzdatenbank.

Asynchrone Datenverarbeitung

Zunächst werden die Rohdaten aus den Systemen extrahiert. Dazu muss für jedes System eine geeignete Schnittstelle identifiziert werden. Generell können Daten aus Systemen per Push- oder Pull-Mechanismus extrahiert werden und werden dann mithilfe eines Service in einen Kafka Topic geschrieben. Nun können die Daten asynchron verarbeitet werden, somit wird auch das eventuelle Risiko eines Rückstaus bei der Extraktion minimiert. Gleichzeitig stellt Kafka sicher, dass ein transaktionaler Kontext die Konsistenz aller zu speichernden Daten sicherstellt. Die zu speichernden Daten können ebenso binäre Formate enthalten, da die Transformation in weiterführende Daten bei der Ablage noch keine Rolle spielt. „Da wir in einer privaten Cloud beginnen und später in eine AWS- oder Microsoft-Azure- basierte Umgebung zur Speicherung der Daten im Data Lake wechseln können müssen, nutzen wir MinIO als Abstraktion des Dateisystems. MinIO stellt aus Sicht der Applikation immer einen S3-Bucket zur Verfügung. Auf diese Weise sind auch hybride Umgebungen oder Umzüge der Datenbasis kein Problem für den Data Lake“, sagt Carsten Hilber, AIM Co-Founder & DevOps Engineer.

ANZEIGE

Breitbandausbau: Smartes Update für die Industrie

Der deutsche Glasfaserausbau treibt die Industrie der Zukunft voran. Mit vernetzten Maschinen im Internet der Dinge laufen Prozesse effizient und automatisiert ab.‣ weiterlesen

Fundament für KI-Applikationen

Wie sammelt man Rohdaten im Data Lake?

Eine Voraussetzung bei der Entwicklung von industriellen KI-Anwendungen sind ausreichende Daten. Diese sind jedoch nicht immer in der benötigten Menge, Qualität oder Struktur vorhanden. Anhand eines konkreten Beispiels erläutert dieser Beitrag, wie sich ein Data Lake anlegen und mit Daten füllen lässt, bis er ein Fundament für quasi beliebige KI-Applikationen bildet. (mehr …)

Fundament für KI-Applikationen

Wie sammelt man
Rohdaten im Data Lake?

Eine Voraussetzung bei der Entwicklung von industriellen KI-Anwendungen sind ausreichende Daten. Diese sind jedoch nicht immer in der benötigten Menge, Qualität oder Struktur vorhanden. Anhand eines konkreten Beispiels erläutert dieser Beitrag, wie sich ein Data Lake anlegen und mit Daten füllen lässt, bis er ein Fundament für quasi beliebige KI-Applikationen bildet. (mehr …)

Das könnte Sie auch interessieren:

Krisenfest mit solider ERP-Software
Krisenfest mit solider ERP-Software

Der Druck auf Produktionsbetriebe bleibt hoch. Neben gesetzlichen Forderungen kommen Anzeichen einer Rezession bis hin zu Absatzsorgen hinzu. Viele Lieferketten stehen weiter unter Druck und Energie- sowie Rohstoffpreise werden zunehmend schwer zu kalkulieren. Hinzu kommt oft die Unsicherheit, welche Schritte der digitalen Transformation in dieser Lage schnelle Ergebnisse hervorbringen. Dabei sind jene Unternehmen klar im Vorteil, bei denen eine performante ERP-Software die nötigen Weichenstellungen schnell und effektiv unterstützt. ‣ weiterlesen

Digitalgestützte Zusammenarbeit
ERP-Prozesse und Projektarbeit eng verzahnt

Wie wichtig ein ERP-Datum auch ist – Hinweise auf den nächsten Prozessschritt finden sich darin selten. Die Mitarbeitenden der verschiedenen Abteilungen müssen die Projekte über andere Kommunikationswege voranbringen. Martin Gáyer von AMS.Solution schildert, wie der ERP-integrierte AMS.Taskmanager dazu Menschen innerhalb und außerhalb eines Unternehmens zusammenbringen kann.
‣ weiterlesen

CO2-Fußabdruck und Ökobilanz verbessern
ERP-Software mit integriertem Nachhaltigkeitsmanagement

Die EU Taxonomy definiert erstmals auf europäischer Ebene, was unter einer nachhaltigen Wirtschaft zu verstehen ist. In Deutschland trat kürzlich das Lieferkettensorgfaltspflichtengesetz in Kraft – und die Anforderungen nach transparenten Nachhaltigkeitsinformationen werden ebenfalls steigen. Unternehmen kommen am Thema Nachhaltigkeit nicht vorbei. Wer anfallende Aufgaben effektiv und effizient lösen will, könnte auf ein ERP-System mit integriertem Energiemanagementsystem setzen. ‣ weiterlesen

Ingenieurmonitor
Engpässe bei Ingenieurberufen in Energie- und Elektrotechnik

„In den kommenden Jahren wird durch Demografie, Digitalisierung und Klimaschutz der Bedarf an Beschäftigten in Ingenieur- und Informatikberufen deutlich zunehmen“, sagt VDI-Arbeitsmarktexperte Ingo Rauhut. Der Ingenieurmonitor für das zweite Quartal 2023 zeigt einen starken Engpass bei den Ingenieurberufen Energie- und Elektrotechnik.‣ weiterlesen

Plus 0,4 Punkte
Ifo Geschäftsklimaindex steigt

Im November verzeichnet der Ifo-Geschäftsklimaindex den dritten Anstieg in Folge. Die Wirtschaftsforscher sehen darin eine Stabilisierung der Wirtschaft auf niedrigem Niveau. ‣ weiterlesen

Gütesiegel und zwei KI-Zentren
Mission KI soll Tempo bei ’AI Made in Germany’ machen

Im Rahmen der Initiative ’Mission KI’ der Bundesregierung entstehen zwei KI-Zentren, eines davon in enger Kooperation mit dem Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern. Gründer, Startups und Unternehmen sollen dort Zugang zur Spitzenforschung erhalten und ihre Anwendungen in Testumgebungen verbessern können. ‣ weiterlesen

Sonderforschungsbereich am KIT
Kreislauffabrik forscht am ’ewigen Produkt’

Ein neuer Sonderforschungsbereich am KIT verfolgt das Ziel, den weltweiten Ressourcenverbrauch einzudämmen. In der ’Kreislauffabrik’ sollen gebrauchte Produkte wieder zu ’neuen’ Produkten aufgearbeitet werden. ‣ weiterlesen

IT-Abteilung außen vor?
Wer in Unternehmen nach neuer Software sucht

Eine Analyse der Softwarevergleichsplattform SoftGuide hat ergeben, dass in den meisten Fällen Unternehmensinhaber bzw. Vorstände zu neuer Software recherchieren. Die IT-Abteilung ist laut Analyse seltener involviert.‣ weiterlesen

Geschäftsbereich Robotik und Fertigungsautomation
ABB Robotics und B&R Automation bündeln Kompetenzen an einem Standort

B&R zieht um. Das Unternehmen verlegt den Hauptsitz nach Friedberg zum Deutschland-Sitz der Robotics-Division von ABB. Wie B&R mitteilt, sollen so stärkere Synergien geschaffen werden.‣ weiterlesen

3D-Simulation
Mitsubishi Electric und Visual Components gründen Joint Venture

Mit der ME Industrial Simulation Software Corporation geht ein Joint Venture von Mitsubishi Electric und Visual Components an den Start, das sich der Entwicklung sowie dem Vertrieb von 3D-Simulatoren widmen soll.‣ weiterlesen

Zeitwirtschaftssysteme

Das Bundesarbeitsgericht hat 2022 die Pflicht zur Einführung eines Zeiterfassungssystems bestätigt und damit einen grundlegenden Veränderungsprozess in der Arbeitswelt angestoßen. Viele Unternehmen stehen jedoch noch am Anfang bei der Umsetzung dieser Vorgaben. Die digitale Zeiterfassung bietet hier Potenzial.‣ weiterlesen