Multisensuelle Kommunikation mit Computern

Hat die Touchbedienung ausgedient?

Wer braucht noch Touchscreens? Die nächste Lösungsgeneration für das industrielle Bedienen und Beobachten steht bereits vor der Tür. Noch sind diese Nachfolger eher in Nischen zu finden, aber dort kommunizieren Menschen bereits multi-sensuell mit ihrem Rechner.

(Bild: ©undrey/stock.adobe.com / Hy-Line Holding GmbH)

Vor zwölf Jahren machte das iPhone mit einem neuen Bedienkonzept Furore. Die Tastatur wurde durch einen Touchscreen ersetzt, die gesamte Vorderseite des Geräts füllt ein riesiger Bildschirm mit einer bislang nicht da gewesenen Pixeldichte. Die Bedienung erfolgt über einen Touchscreen mit projiziert-kapazitivem Feld, das auch mehrere Touchereignisse gleichzeitig erkennen und auswerten kann. Sinnvoll einzusetzen ist diese Technologie nur mit einer völlig neuen Art der Benutzerführung. Tippen, Sliden und andere Gesten mit einem oder zwei Fingern steuern unterschiedliche Funktionen. Seit dieser Produktvorstellung hat sich die Welt der Ein- und Ausgabe gewandelt. Aus der punktuellen Berührung des Touchscreens, die genau eine Aktion auslöste, wurden Gesten mit einem oder mehreren Fingern, die komplexe Aktionen auslösen. Drag and Drop oder Pinch funktionieren aus dem Handgelenk, ohne umständlich Objekte über Menüs auszuwählen und Aktionen zuzuordnen. Diese Umstellung verlangt eine völlig neue darunter liegende Software und damit ein neues Bedienkonzept. Aber müssen Aktionen immer durch Berühren eines dem Bildschirm vorgelagerten Touchscreens initiiert werden? Ist es nicht auch denkbar, Bewegungen vor dem Bildschirm auszuwerten? Gleich mehrere Technologien nutzen diese Vorstellung. Für Gesten, die keine besondere Anforderung an die Genauigkeit stellen, eignen sich 3D-Touchsysteme, die Positionen durch eine Änderung in einem elektrischen Feld bestimmen. Für qualitative Bestimmungen wie Lauter/Leiser, Höher/Tiefer, Zoom in/Zoom out reicht die Auflösung dieser Systeme.

Alternativen zum Touchscreen

Soll die Position genauer ausgewertet werden, kommen Kameras zum Einsatz, die z.B. den Händen des Bedieners folgen. Die Perfektion in Auflösung der Position bieten die Steuergeräte für AR/VR Brillen, die im System eine feinfühlige Steuerung erlauben. Einen anderen Ansatz verfolgt das Eye Tracking. Nach einer kurzen Lernphase ist das System in der Lage, die Pupillen des Bedieners mit Hilfe von Kameras zu verfolgen. Der Mausklick erfolgt durch Blinzeln. Nach einer Eingewöhnung kann der Bediener ohne den Einsatz der Hände das System bedienen. Anwendungen sind überall dort, wo die Hände gerade nicht frei sind oder steril bleiben müssen. Ein weiterer Trend ist die Sprachsteuerung. Apple, Google und Amazon machen es vor: Das Abrufen von Informationen aus dem Internet oder die Steuerung von Geräten im heimischen Wohnzimmer funktioniert ganz einfach auf Zuruf. Dahinter steckt eine künstliche Intelligenz, die in einer Serverfarm des Anbieters arbeitet. Etwas einfacher ist die Spracheingabe, die mehr oder weniger strikten Syntaxregeln folgt. Sie finden wir im Navigationssystem unseres PKW: „Bitte geben Sie die Adresse ein in der Form Stadt, Straße und Hausnummer“. Das Parsing, also das Zuordnen der eingegebenen Worte zu Feldern in der Datenbank kann ein lokaler Controller durchführen, und die gewünschte Aktion, sei es die Navigation zur Zieladresse oder das Wechseln des Radiosenders, ausführen.

Displaytechnik

Auf der anderen Seite der Interaktion steht die Ausgabe, die meistens ein Display erledigt. Auch dort schreitet die Technik voran. Wiederum getrieben durch die Stückzahlen des Massenmarktes erscheinen OLED mit brillanter Darstellung und einer durch den enormen Kontrast hervorragenden Bildqualität. In bestimmten Anwendungen scheinen sie der LCD-Technologie den Rang abzulaufen, auch wenn sie prinzipbedingt einem Alterungsprozess unterliegen, der durch Nachlassen der Helligkeit sichtbar wird. TFT kontert mit Quantum Dots, die unter Namen wie QLED in den Markt drängt und einen hohen Farbumfang mit leuchtenden Farbtönen verspricht. Noch im Laborstadium befinden sich Schirme mit Mikro-LEDs, die der LED-Technologie zu einer Renaissance verhelfen und sie von der reinen Lichtquelle für TFTs zur Bildquelle an die Front rücken lässt. Die Produktion großer Bildschirme mit hoher Auflösung ist fertigungstechnisch für die Serie noch nicht gelöst, Prototypen zeigen jedoch das große Potential, das diese Technologie aufweist.

In Kombination zum Erfolg

Zurück zum HMI: Der Anwender von heute darf ein durchgängiges Konzept erwarten. Nicht eine Technologie alleine führt zum Erfolg, sondern die Kombination. Ein Human Machine Interface muss eine schlüssige Eingabefunktion anbieten, die viele Sinnesorgane anspricht. Zu den beschriebenen Touchsystemen kommt die haptische Rückmeldung, die dem Bediener über den Tastsinn auf direktem Wege die erfolgreiche Eingabe signalisiert. Sie könnte auch akustisch über einen Piepser erfolgen, was jedoch in lauter Umgebung unter Umständen untergeht. Das Display stellt mit hoher Auflösung die gewünschten Informationen ergonomisch dar. Einen entscheidenden Anteil hat jedoch die Benutzerführung, die die Software vornimmt. Sie legt fest, wie Informationen präsentiert werden, durch Farben, Formen, Anordnung auf dem Bildschirm und Darstellung in Relation zueinander.

Sinnlich interagieren

Was bedeutet jetzt HMI 5.0? Der Begriff beschreibt die umfassende Interaktion des Menschen mit dem System mithilfe aller Sinne. Neue Methoden kommen auf den Markt, z.B. für die Eingabe die Erkennung von 3D-Gesten, die Spracherkennung, das Eye Tracking. Für die Ausgabe steigt die Bedeutung der haptischen Rückmeldung, die das Manko gängiger Touchscreens kompensiert, und die dreidimensionale Visualisierung mit Hologrammen oder Brillen. Durch leistungsfähigere Grafikkarten sind Brillen für AR und VR bezahlbar geworden. Zunächst getrieben durch Computerspiele, haben VR-Brillen ihre Berechtigung bereits im Simulator-Training gefunden, wo sie den Bediener optisch und akustisch in eine realistische Szene versetzen. Der Kommunikationskanal zwischen Mensch und Maschine ist breiter geworden: Sehen und gesehen werden – mit Bildausgabe und Eye-Tracking; hören und gehört werden – mit Tonausgabe und Spracheingabe; tasten und fühlen – mit Touchscreen und haptischem Feedback. Nur Riechen und Schmecken fehlen noch in diesem Reigen.

Fazit

Ist Touchbedienung noch State of the Art? Diese Frage kann man ganz klar mit ja beantworten. Trotz vieler neuer Technologien wird der Touchscreen noch längere Zeit den Ton angeben. Eine wichtige Rolle darüber hinaus wird die umfassende, multi-sensuelle Kommunikation des Menschen mit dem Computer spielen, die wir HMI 5.0 nennen, und die sich nicht nur auf Tastatur und Bildschirm bzw. Touchscreen beschränkt. Auch wenn einigen Technologien noch nicht der Durchbruch in die Breite gelungen ist, stehen sie als Werkzeug bereit, dem Anwender eine neue User Experience zu ermöglichen. Mit ihrer Unterstützung ist er bestens präpariert, wenn es um die Interaktion mit künstlicher Intelligenz oder Machine Learning geht.

Das könnte Sie auch interessieren:

Neuer Vorstand
Wechsel an der Spitze bei DMG Mori

Christian Thönes, Vorstandsvorsitzender bei DMG Mori, hat am Donnerstag sein Amt niedergelegt. Sein Vertrag wurde im Rahmen einer Aufsichtsratssitzung einvernehmlich beendet. Alfred Geißler wurde vom Aufsichtsrat zum Nachfolger bestellt.‣ weiterlesen

40 Jahre Microsoft in Deutschland
Microsoft feiert Geburtstag und eröffnet Experience Center

Microsoft feiert 40. Geburtstag in Deutschland und eröffnet ein europäisches Experience Center in München. Es ist eines von vier Experience Centern weltweit.‣ weiterlesen

Neues Whitepaper der Plattform Lernende Systeme
Wo bleiben die europäischen KI-Sprachmodelle?

Expertinnen und Experten der Plattform Lernende Systeme beleuchten in einem neuen Whitepaper, wie es um die Entwicklung europäischer bzw. deutscher KI-Sprachmodelle bestellt ist.‣ weiterlesen

Ifo Geschäftsklimaindex im Mai
Skeptischer Blick auf den Sommer

Nach 93,4 Punkten im Vormonat, fällt der Ifo Geschäftsklimaindex im Mai auf 91,7 Punkte – der erste Rückgang in sechs Montanen. ‣ weiterlesen

Neuer Sonderforschungsbereich am KIT
Schnellere Updates für Cyber-physikalische Systeme

Cyber-physikalische Systeme (CPS), wie etwa Autos oder Produktionsanlagen, stecken voller elektronischer und mechanischer Komponenten, die von Software gesteuert werden. Jedoch ist es eine Herausforderung, die Systemarchitekturen solcher Systeme fortwährend konsistent zu halten. Neue Methoden dafür soll ein Sonderforschungsbereich (SFB) am Karlsruher Institut für Technologie (KIT) entwickeln.‣ weiterlesen

Transport und Logistik
G+D erweitert IoT-Portfolio mit Erwerb von Mecomo

Mit der Akquisition der Pod Group hat G+D bereits 2021 sein Portfolio im IoT-Bereich erweitert. Durch den Erwerb von Mecomo geht das Unternehmen nun einen weiteren Schritt in Richtung IoT-Komplettanbieter im Transport- und Logistikbereich.‣ weiterlesen

17. Produktionstechnisches Kolloquium
PTK diskutiert Herausforderungen für die Industrie

Im September laden Fraunhofer IPK und IWF der TU Berlin zum Produktionstechnischen Kolloquium. Im Fokus der Veranstaltung stehen Digitalisierung und Dekarbonisierung der Industrie. ‣ weiterlesen

Datenanalyse
Qlik übernimmt Talend

Mit der Übernahme von Talend will das Softwareunternehmen Qlik das eigene Portfolio erweitern. Die Leitung des neuen Unternehmens übernimmt Qlik-CEO Mike Capone.

‣ weiterlesen

Webbasiertes Anfragemanagement
Kundenanfragen schneller bearbeiten

Die Grimme-Gruppe produziert individuell konfigurierte Landmaschinen. Was für den Wettbewerb Vorteile bringt, ist allerdings mit großem Aufwand verbunden - so verwaltete Grimme Kundenanfragen lange über ein Excel-Tool. Mit dem Softwareanbieter Slashwhy zusammen wurde dies durch ein webbasiertes Anfragemanagement-Programm abgelöst.‣ weiterlesen

Mit Moryx modulare Fertigungsanlagen steuern
Linie ohne Stau

Die Software Moryx hilft der Fertigungssteuerung, Maschinen schnell auf einen neuen Kurs zu bringen oder sie für den nächsten Auftrag anzupassen. Mit seinen einheitlichen Bedienoberflächen und seiner niedrigen Einstiegshürde ist das Tool von Phoenix Contact insbesondere auf den Einsatz in Fertigungen mit der Losgröße 1 ausgerichtet.‣ weiterlesen

Gartner-Umfrage
CEOs sehen KI als wichtigste disruptive Technologie

Eine Umfrage von Gartner unter CEOs und leitenden Angestellten hat ergeben, dass künstliche Intelligenz (KI) die Top-Technologie ist, von der die Befragten glauben, dass sie ihre Branche in den nächsten drei Jahren erheblich beeinflussen wird. 21 Prozent der Studienteilnehmer geben dies an.‣ weiterlesen