Dokumentensammlungen analysieren

Daten schürfen mit Text Mining

Geschäftszahlen zu Umsätzen oder Zeitreihen in Maschinendaten lassen sich vergleichsweise einfach zu Kennzahlen verdichten. Aber auch komplexe Texte lassen sich durch Technik analysieren. Mit Text Mining werden externe oder interne schriftliche Dokumentensammlungen automatisch zu Informationen veredelt.

Bild: ©Africa Studio/stock.adobe.com

Im Jahr 1995 haben Ronen Feldman und Ido Dagan Text Mining als ‘Knowledge Discovery in Texts’ in der wissenschaftlichen Community eingeführt. Heute ist die damit verbundene Technik breiter gefächert, meint aber immer das automatisierte Ableiten bestimmter hochwertiger Informationen aus vorhandenen Textdokumenten. Im Zeitalter von Big Data ist die automatisierte Verarbeitung textueller Informationen für Unternehmen von steigender Bedeutung. Denn Text Mining eignet sich für die Analyse unternehmenseigener, aber auch externer Dokumente. So kann damit etwa Spam in eingehenden Nachrichten herausgefiltert werden, was die Cybersicherheit erhöht. Weitere Anwendungsfelder sind das unternehmensinterne Wissensmanagement oder die Bearbeitung von Kundenreklamationen bei Produkten. Ziel ist immer die Gewinnung neuer Erkenntnisse für eine bessere Entscheidungsfindung. Es lohnt sich genau zu prüfen, welche Möglichkeiten es gibt, wie die Methoden aussehen, und welche Ansätze für welche Zwecke erfolgversprechend sind.

Grundlegende Arbeitsweise

Textdaten sind nicht formalisiert und das Ergebnis kann sehr unterschiedlich ausfallen, da es keinen einheitlichen Analyseansatz gibt. Das macht den effektiven Einsatz von Text Mining ebenso herausfordernd wie nützlich. Entscheidend ist hierbei die Wahl passender Methoden. Generell unterscheidet man beim Text Mining für jedes Dokument verschiedene Phasen:

• Bewertung der Relevanz zu einem vorgegebenen Thema oder einer Fragestellung,
• Spezifikation sogenannter Entitäten wie etwa Namen von Personen oder Produkten,
• Inhaltsanalyse bezüglich positiver oder negativer Bewertungen eines Themas,
• Spezifikation der Beziehung zwischen Fakten und anderen Entitäten wie Namen.

Zunächst müssen die zu untersuchenden Dokumente gesammelt und standardisiert werden. Die Ziele dabei sind die permanente Dokumentenerfassung und Gewinnung von Strukturdaten, das Sammeln von Metadaten wie Titel, Autor, Quelle, Typ und Erstellungsdatum sowie die Standardisierung von Texten und Metadaten. Nur in seltenen Fällen werden alle Dokumente formatgleich aus einem einzigen Quellsystem gezogen. Müssen diese beispielsweise gescannt werden, liegen sie als PDF vor, stammen aus Webquellen oder werden manuell von Benutzern hochgeladen, ist eine vorbereitende Behandlung in das entsprechende Format notwendig, die jedoch die spätere Bearbeitung und Qualität der Ergebnisse beeinflussen kann. Ist nur ein Bruchteil der Dokumente bzw. Informationen relevant, empfiehlt sich eine Vorauswahl über einen Volltextindex und eine Liste von Schlüsselwörtern. Werden dagegen Daten aus mehreren Quellen gesammelt, ist es besser, gleich auf eine standardisierte Schnittstelle wie etwa Solr zur Volltextsuche zurückzugreifen.

ANZEIGE

MES-Integrator und 360-Grad-Partner für optimierte Fertigung

Das Manufacturing Execution System (MES) HYDRA optimiert Produktionsprozesse für Fertigungsunternehmen, um Wettbewerbsvorteile zu erzielen.‣ weiterlesen

Klassifikation, Analyse und Training

Der relevante Dokumenten-Korpus wird dann einer Textnormalisierung und Vorverarbeitung unterzogen. Dabei werden die Texte nach Sätzen und Wörtern unterteilt. In vielen Sprachen müssen häufig vorkommende Stoppwörter, wie beispielsweise Artikel oder Präpositionen, herausgefiltert werden. Die verbleibenden Wörter werden auf ihre Grundform zurückgeführt. Die weitere Behandlung folgt mit unterschiedlichen Methoden, die jedoch auch in Kombination eingesetzt werden können, beispielsweise der Suche nach Entitäten und Beziehungen nach vorgegebenen Regeln sowie statistische Methoden und Machine Learning. Das Arbeiten mit Regeln wie ‘Suche nach Produktnamen, die innerhalb von drei Sätzen vor oder nach dem Firmennamen genannt werden’ funktioniert eher in analytischen Sprachen wie Englisch. Deutsch ist dagegen eine synthetische Sprache, bei der Beziehungen auch mit Hilfe von Wortformen ausgedrückt werden.

Texte in numerische Form wandeln

Alternativ werden Texte statistisch oder mit künstlicher Intelligenz analysiert. Dazu werden sie zunächst in Vektoren umgewandelt. Bei der einfachen One-HOT-Codierung wird jedem Wort ein Vektor zugeordnet, der an jeder Position, die dem Auftreten des Wortes im Sprachwörterbuch entspricht, einen Wert ungleich Null bekommt. Das führt jedoch zu einer äußerst hohen Dimensionalität. Diese kann mit der Word2vec-Methode reduziert werden, da dort Wörter gleicher Bedeutung gleiche Vektoren haben. Bag-of-Words kennzeichnet die Worthäufigkeit in einem Text, ignoriert aber dessen Struktur. Die TF-IDF-Methode gibt die Worthäufigkeit im zu untersuchenden Text relativ zur Häufigkeit dieses Wortes im Dokumenten-Korpus an.

Entitäten und Beziehungen gesucht

Mit dem Hidden-Markov-Modell (HMM) wird ein statistisches Modell als gerichteter Graph erstellt. Alternativ bietet sich das Conditional-Random-Field (CRF) an. Für neuronale Netze steht Long-Short-Term-Memory (LSTM) zur Verfügung, bei dem der Kontext berücksichtigt wird. Alternativ kann die Datenextraktion auf der Basis von Mustern über Convolutional-Neural-Networks (CNN) erfolgen. Aus dem Machine Learning ist die Sliding-Window-Technik bekannt, bei der bestimmte Bereiche des Textes in einem Fenster betrachtet werden. Was außerhalb des Fensters liegt, wird demnach ignoriert – der Kontext weiter entfernter Entitäten wird also nicht erfasst.

ANZEIGE

Die Transformation meistern

Unternehmen stehen unter erheblichem Transformationsdruck, um ihre Wettbewerbsfähigkeit zu sichern. Doch es benötigt erfahrene Experten für die Gestaltung dieser digitalen und organisatorischen Prozesse.‣ weiterlesen

Bild:©Dmitry/stock.adobe.com

Klassen und Themenmodelle

Soll Text Mining eine kurze Beschreibung der untersuchten Dokumente liefern, bieten sich unterschiedliche Algorithmen an. Die Latent-Dirichlet-Allocation (LDA) behandelt den Text als Kombination von Themen, die Latent-Semantic-Analysis (LSA) stellt den Dokumenten-Korpus als Term-Dokument-Matrix dar. Die Ergebnisse statistischer Modelle können über eine additive Regularisation von Themenmodellen (ARTM), bei der die Textstruktur besser berücksichtigt wird, weiterverarbeitet werden. Methoden des Machine Learning können die Ergebnisse von Algorithmen wie Bag-of-Words und TF-IDF weiterverarbeiten. Statistische Methoden und Machine Learning finden Zusammenhänge automatisch ohne vorgegebene Regeln. Zudem können dadurch komplexere Beziehungen aufgedeckt werden. Die Systeme agieren nach einmaligem Training universell, jedoch kann der Aufwand für die Erstellung eines Trainingssatzes recht hoch sein. Die vom System getroffenen Entscheidungen sind nicht immer verständlich, falsche Ergebnisse werden oft nicht erkannt.

Datenschätze gehoben

Text Mining bietet viele Techniken, Algorithmen und ein ganzes Universum an Möglichkeiten zur Verarbeitung von Textkonvoluten im geschäftlichen Interesse. Je nach Aufgabenstellung wird die Leistung der eingesetzten Methoden unterschiedlich ausfallen. Wer die Vor- und Nachteile der Methoden kennt, dürfte aber schnell die passenden Techniken für ein Text-Mining-Pilotprojekt im eigenen Unternehmen finden, neue Erkenntnisse gewinnen und Entscheidungen somit auf ein
datenbasiertes Fundament stellen.

Das könnte Sie auch interessieren:

Gesetz zu künstlicher Intelligenz
EU einigt sich auf AI Act

Die europäischen Gesetzgeber, das Europäische Parlament und der Rat der EU haben sich auf das Gesetz über die künstliche Intelligenz geeinigt. „Künstliche Intelligenz verändert schon heute unseren Alltag. Und das ist erst der Anfang. Klug und breit eingesetzt, verspricht KI enorme Vorteile für unsere Wirtschaft und Gesellschaft. Daher begrüße ich die heutige politische Einigung des Europäischen Parlaments und des Rates über den Rechtsakt zur Künstlichen Intelligenz sehr“, sagte Ursula von der Leyen, Präsidentin der Europäischen Kommission.‣ weiterlesen

Electronic Data Interchange aus der Cloud
EDI-Onboarding in wenigen Tagen

Automobilzulieferer können neue Partner kaum lange warten lassen, bis die EDI-Verbindung steht und das Geschäft losgehen kann. Daher hat der Magnetventil-Spezialist Rapa die eigene EDI-Systemlandschaft von Aimtec gründlich modernisieren lassen. Heute dauert das Onboarding neuer Partner nur ein paar Tage. ‣ weiterlesen

Schulung, virtuelle Fertigung, Echtzeit-Simulation
Ein zweites Leben für Simulationsmodelle

Die Virtuelle Inbetriebnahme (VIBN) hilft, Steuerungssoftware funktionstechnisch abzusichern. Etwaige Anwendungen beschränken sich jedoch oft auf den Zeitraum vor dem Produktionsstart. Wie die Modelle der VIBN weiterverwendet werden können, beleuchtet dieser Artikel. ‣ weiterlesen

Customer Experience modellieren
Mit Produktnutzungsdaten zu neuen Geschäftsmodellen

Die IT-Systeme sollen Transparenz und Synergien bei Produkt- und Kundenlebenszyklen schaffen, um eine zukunftsweisende Produktion als Werttreiber zu etablieren. Dazu tragen das Customer Relationship Management und Produktnutzungsdaten bei. ‣ weiterlesen

Verwaltung einer Distributed Multicloud
Cloud Services am Würfelmodell analysieren

Analytik-Dashboards, Datenplattformen, IoT-Hubs, Machine-Learning-Services und natürlich Systeme für PLM, ERP und MES – fast jede Software für Produzenten lässt sich heute aus der Cloud beziehen. Die so entstehenden Distributed Multiclouds lassen sich anschaulich in einem Würfel-Modell analysieren. ‣ weiterlesen

Azure OpenAI in der Praxis
Wie KI bei der Produktbeschreibung hilft

Generative KI bietet sich für Bereiche wie Marketing und Produktmanagement in der Konsumgüterindustrie gerade zu an, sind hier doch oft große Sortimente in unterschiedlichen Sprachen zu beschreiben. Wie das funktionieren kann, zeigen der Sportartikelhersteller O’Neal und der Datenspezialist Pmone – die menschliche Kontrolle bleibt dabei unerlässlich. ‣ weiterlesen

Effizienzsteigerung durch KI
Wie Generative AI CRM-Anwender unterstützt

Für Fertigungsbetriebe sind ERP-Systeme wahre Tausendsassa. Doch ohne Eingabe oder Abfrage des Anwenders geschieht oft nichts. Künstliche Intelligenz birgt jedoch das Potenzial, diese eher passive Rolle grundlegend zu ändern. Welche Effekte sich daraus konkret ergeben können, zeigt der Einsatz im CRM-Umfeld. ‣ weiterlesen

Fachmesse bietet vielfältiges Rahmenprogramm
Nortec 2024 in Hamburg

Die Nortec, Fachmesse für Produktion, wird vom 23. bis zum 26. Januar 2024 in Hamburg wieder zum gewohnten Termin stattfinden. "Wir sind bereits mitten in der Aufplanung und es kommen täglich noch neue Anmeldungen herein", berichtet Florian Schmitz, Leiter Messen und Events bei der Messe Stuttgart.‣ weiterlesen

Die Geschichte der Industrie 4.0 - Teil 1
Es begann mit einer Zugfahrt

Seit vielen Jahren ist die Industrie 4.0 in aller Munde. Doch was verbirgt sich dahinter, wie nahm die Vision der vierten industriellen Revolution überhaupt Formen an und wie sieht die Zukunft in diesem Transformationsprozess aus? In unserer Artikelserie werfen wir einen Blick auf Vergangenheit, Gegenwart und Zukunft. ‣ weiterlesen

Störungsmeldesysteme
Grünes Licht für die Lebensmittelindustrie

In der Nahrungsmittelindustrie werden hohe Anforderungen an die Hygiene gestellt. Genau in diesem Bereich hat sich das niederländische Unternehmen Innovotech spezialisiert und zu einem wichtigen Anbieter von kompletten Anlagen und Maschinenlinien etabliert. Jetzt hat die Firma ein Großprojekt realisiert, in dem Signalgeräte von Werma in Ampelfarben zeigen, wie es um die Produktion steht. ‣ weiterlesen

Nutzenaspekte aktueller CRM-Plattformen
Plattformen für Customer Experience

Heute braucht es oft mehr als das beste Produkt, um langfristig gegen die Konkurrenz zu bestehen. Um die dafür erforderliche Kundenbetreuung sicherzustellen, ist der Betrieb einer CRM-Plattform beinahe obligatorisch. Ein Selbstläufer ist das nicht. ‣ weiterlesen