Sprint zum Machine Vision-Prototyp

Vier Anwendungen für eine Trägerplatine

Neben der Rechenleistung sind bei Embedded-Vision-Lösungen oft kompakte Maße gefragt. Um Anwendern ein kompaktes Setting und schnelle Prototypen zu ermöglichen, hat Teledyne FLIR einen Quartettträger mit TX2-Modul vorgestellt. Vier Beispiele illustrieren die Einsatzmöglichkeiten.

Prototypen-Setup für alle vier Anwendungen (Bild: Teledyne FLIR LLC)

Immer mehr industrielle Applikationen setzen auf Embedded-Vision-Komponenten. Die Quartet Embedded Solution für TX2 von Teledyne FLIR ist auf besonders platzsparende Anwendungen ausgerichtet. Auf der enthaltenden Trägerplatine können bis zu vier Machine Vision-Kameras mit der Bandbreite von USB 3.0 angeschlossen werden. Das System beinhaltet den Deep-Learning-Hardwarebeschleuniger Nvidia Jetson TX2 und ist im Spinnaker SDK von FLIR vorintegriert. Kurz nach der Markteinführung berichtet der Hersteller von Anfragen von Anwendern, die damit Systeme für Inspektion, mobile Robotik oder Drohnen entwickeln wollen. Damit wird klar, dass beim Einsatz der Platine eine Fülle unterschiedlicher Möglichkeiten bestehen. Als Inspiration für eigene Projekte stellt dieser Artikel vier prototypische Anwendungen vor, die ersten drei verwenden das KI-Verfahren Deep Learning.

Quartet Embedded Solution mit TX2, abgebildet mit 4 Blackfly S-Kameras und 4 FPC-Kabeln. (Bild: Teledyne FLIR LLC)

Kennzeichenerkennung

Für die Kennzeichenerkennung kam ein handelsübliches Deep-Learning-Modell von Nvidia zur Nummernschilderkennung (LPDNet)1 zum Einsatz, um die Position der Nummernschilder zu erkennen. Um die Buchstaben und Ziffern zu erkennen, nutzten die Entwickler bei FLIR die Tesseract Open-Source-OCR-Engine2. Bei der Kamera handelte es sich um eine Blackfly S 8,9 MP Platinenfarbkamera (BFS-U3-88S6C-BD) mit Sony IMX267-Sensor. Die Projektteilnehmer begrenzten die Region of Interest für die Kennzeichenerkennung, um die Leistung zu beschleunigen, und wendeten Tracking an, um das System robuster zu machen. Die Ausgabe enthält Begrenzungsrahmen der Kennzeichen zusammen mit den entsprechenden Nummernschildzeichen. Entwicklungszeit: Zwei bis drei Wochen, in erster Linie um das System robuster und schneller zu machen. Testbilder: In LPDNet enthalten

Fahrzeugtyp-Kategorisierung

Für Anwendungsfall 2 ‚Fahrzeugtyp-Kategorisierung‘ mittels Transferlernen haben die Entwickler ein eigenes Deep-Learning-Objekterkennungsmodell auf drei Spielzeugautos SUV, Limousine und LKW trainiert. Es wurden etwa 300 Testbilder des Setups aus unterschiedlichen Entfernungen und Winkeln aufgenommen. Bei der Kamera handelte es sich um eine Blackfly S 5 MP Platinenfarbkamera (BFS-U3-51S5C-BD) mit Sony IMX250-Sensor. Die Mitarbeiter annotierten etwa drei Stunden lang die Begrenzungsrahmen der Spielzeugautos. Mittels Transferlernen trainierten sie das eigene Objekterkennungsmodell SSD MobileNet3, was auf einer Nvidia GTX1080 Ti GPU etwa einen halben Tag dauerte. Mithilfe des GPU-Hardwarebeschleunigers kann das Jetson TX2-Modul Deep-Learning-Inferenz durchführen und Begrenzungsrahmen der Autos zusammen mit den entsprechenden Fahrzeugtypen ausgeben. Entwicklungszeit: ca. zwölf Stunden, inklusive Bildaufnahme und -annotation, etwa 300 Testbilder.

ANZEIGE

MES-Integrator und 360-Grad-Partner für optimierte Fertigung

Das Manufacturing Execution System (MES) HYDRA optimiert Produktionsprozesse für Fertigungsunternehmen, um Wettbewerbsvorteile zu erzielen.‣ weiterlesen

Fahrzeug-Farbklassifikation

Zur darauf folgenden Fahrzeug-Farbklassifikation wurde dasselbe Deep-Learning-Objekterkennungsmodell wie oben genutzt, um die Autos zu erkennen, gefolgt von einer Bildanalyse anhand der Begrenzungsrahmen, um die Farbe zu klassifizieren. Die Ausgabe enthält Begrenzungsrahmen der Fahrzeuge zusammen mit den entsprechenden Nummernschildzeichen. Bei der Kamera handelte es sich um eine Blackfly S 3 MP Platinenfarbkamera (BFS-U3-32S4C-BD) mit Sony IMX252-Sensor. Entwicklungszeit: Es konnte da breits vorhandene Modell zur ‚Fahrzeugtyp-Anwendung‘ genutzt werden, plus zwei Tage für die Erweiterung auf Farbklassifikation inklusive Integration und Test. Testbilder: Die 300 vorhandenen Aufnahmen.

Anwendung 2: Streaming mit Begrenzungsrahmen und identifizierten voreingestellten Fahrzeugtypen samt Konfidenzfaktor (Bild: Teledyne FLIR)

Anwendung 3: Streaming mit Begrenzungsrahmen und identifizierten voreingestellten Farbtypen (Bild: Teledyne FLIR)

Frontscheibeneinblick

Die Reduzierung von Blendlicht spielt bei verkehrsspezifischen Anwendungen eine bedeutende Rolle, um beispielsweise Einblick durch die Frontscheibe zu erhalten und so die Nutzung von Sonderspuren für Fahrzeuge mit hoher Besetzung (HOV-Spuren), die Einhaltung der Gurtpflicht und sogar die Handynutzung während der Fahrt zu kontrollieren. Zu diesem Zweck entstand im Projekt eine kundenspezifische Kamera, die eine Blackfly S USB3-Platinenkamera mit dem 5-MP-Polarisationsfilter Sony IMX250MZR kombinierte. Teledyne FLIR kann verschiedene Sensoren von Kameras austauschen, um individuelle Kameraoptionen zu ermöglichen, hier um deren Funktion zur Blendlichtreduzierung zu demonstrieren. Dazu wurden die Kamerabilder über die SpinView-GUI von Teledyne FLIR gestreamt, die verschiedene ‚Polarisationsalgorithmus‘-Optionen wie Quad-Modus und Blendungsreduzierungsmodus bietet, um Blendlicht an einem stehenden Spielzeugauto zu reduzieren.

Anwendung 4: Polarisationsalgorithmus-Optionen wie Quad-Modus und Blendungsreduzierungsmodus helfen im Umgang mit Blendlicht. (Bild: Teledyne FLIR)

ANZEIGE

Die Transformation meistern

Unternehmen stehen unter erheblichem Transformationsdruck, um ihre Wettbewerbsfähigkeit zu sichern. Doch es benötigt erfahrene Experten für die Gestaltung dieser digitalen und organisatorischen Prozesse.‣ weiterlesen

Gesamtsystemoptimierung

Während jeder der vier Prototypen unabhängig voneinander gut funktionierte, stellten die Projektteilnehmer bei der gleichzeitigen Ausführung aller Deep-Learning-Modelle eine ziemlich mangelhafte Gesamtleistung fest. Das TensorRT SDK von Nvidia bietet einen Deep-Learning-Inferenzoptimierer und eine Laufzeit der Nvidia-Hardware ähnlich dem Jetson TX2-Modul. Also optimierten die Entwickler die Deep-Learning-Modelle mithilfe des TensorRT SDK, was zu einer rund 10-fachen Leistungssteigerung führte. Zudem statteten sie das TX2-Modul mit einem Kühlkörper aus, um eine Überhitzung zu vermeiden, die beim gleichzeitigen Betrieb aller Anwendungen zu befürchten war. Schließlich gelang es, mit allen vier Anwendungen gleichzeitig gute Bildraten zu erzielen: 14B/s für die Fahrzeugtyp-Identifikation, 9B/s für die Fahrzeug-Farbklassifikation, 4B/s für die automatische Kennzeichenerkennung und 8B/s für die Polarisationskamera. Die Projektteilnehmer bewerten ihre Versuche als Erfolg, denn die Prototypen ließen sich in relativ kurzer Zeit entwickeln und grundlegend optimieren. Das TX2-Modul mit vorinstalliertem Spinnaker SDK sorgt für Plug&Play-Kompatibilität mit den Blackfly S-Platinenkameras und Nvidia bietet zahlreiche Tools, um die Arbeit mit dem TX2-Modul zu erleichtern. Interessierte Unternehmen können Quartet ab sofort über das vertriebsnetz des Herstellers oder direkt über dessen Websites erwerben. Eigenen Versuchsreihen auf dem Weg zur Spezialapplikation steht somit nichts im Weg.

Das könnte Sie auch interessieren:

Gesetz zu künstlicher Intelligenz
EU einigt sich auf AI Act

Die europäischen Gesetzgeber, das Europäische Parlament und der Rat der EU haben sich auf das Gesetz über die künstliche Intelligenz geeinigt. „Künstliche Intelligenz verändert schon heute unseren Alltag. Und das ist erst der Anfang. Klug und breit eingesetzt, verspricht KI enorme Vorteile für unsere Wirtschaft und Gesellschaft. Daher begrüße ich die heutige politische Einigung des Europäischen Parlaments und des Rates über den Rechtsakt zur Künstlichen Intelligenz sehr“, sagte Ursula von der Leyen, Präsidentin der Europäischen Kommission.‣ weiterlesen

Electronic Data Interchange aus der Cloud
EDI-Onboarding in wenigen Tagen

Automobilzulieferer können neue Partner kaum lange warten lassen, bis die EDI-Verbindung steht und das Geschäft losgehen kann. Daher hat der Magnetventil-Spezialist Rapa die eigene EDI-Systemlandschaft von Aimtec gründlich modernisieren lassen. Heute dauert das Onboarding neuer Partner nur ein paar Tage. ‣ weiterlesen

Schulung, virtuelle Fertigung, Echtzeit-Simulation
Ein zweites Leben für Simulationsmodelle

Die Virtuelle Inbetriebnahme (VIBN) hilft, Steuerungssoftware funktionstechnisch abzusichern. Etwaige Anwendungen beschränken sich jedoch oft auf den Zeitraum vor dem Produktionsstart. Wie die Modelle der VIBN weiterverwendet werden können, beleuchtet dieser Artikel. ‣ weiterlesen

Customer Experience modellieren
Mit Produktnutzungsdaten zu neuen Geschäftsmodellen

Die IT-Systeme sollen Transparenz und Synergien bei Produkt- und Kundenlebenszyklen schaffen, um eine zukunftsweisende Produktion als Werttreiber zu etablieren. Dazu tragen das Customer Relationship Management und Produktnutzungsdaten bei. ‣ weiterlesen

Verwaltung einer Distributed Multicloud
Cloud Services am Würfelmodell analysieren

Analytik-Dashboards, Datenplattformen, IoT-Hubs, Machine-Learning-Services und natürlich Systeme für PLM, ERP und MES – fast jede Software für Produzenten lässt sich heute aus der Cloud beziehen. Die so entstehenden Distributed Multiclouds lassen sich anschaulich in einem Würfel-Modell analysieren. ‣ weiterlesen

Azure OpenAI in der Praxis
Wie KI bei der Produktbeschreibung hilft

Generative KI bietet sich für Bereiche wie Marketing und Produktmanagement in der Konsumgüterindustrie gerade zu an, sind hier doch oft große Sortimente in unterschiedlichen Sprachen zu beschreiben. Wie das funktionieren kann, zeigen der Sportartikelhersteller O’Neal und der Datenspezialist Pmone – die menschliche Kontrolle bleibt dabei unerlässlich. ‣ weiterlesen

Effizienzsteigerung durch KI
Wie Generative AI CRM-Anwender unterstützt

Für Fertigungsbetriebe sind ERP-Systeme wahre Tausendsassa. Doch ohne Eingabe oder Abfrage des Anwenders geschieht oft nichts. Künstliche Intelligenz birgt jedoch das Potenzial, diese eher passive Rolle grundlegend zu ändern. Welche Effekte sich daraus konkret ergeben können, zeigt der Einsatz im CRM-Umfeld. ‣ weiterlesen

Fachmesse bietet vielfältiges Rahmenprogramm
Nortec 2024 in Hamburg

Die Nortec, Fachmesse für Produktion, wird vom 23. bis zum 26. Januar 2024 in Hamburg wieder zum gewohnten Termin stattfinden. "Wir sind bereits mitten in der Aufplanung und es kommen täglich noch neue Anmeldungen herein", berichtet Florian Schmitz, Leiter Messen und Events bei der Messe Stuttgart.‣ weiterlesen

Die Geschichte der Industrie 4.0 - Teil 1
Es begann mit einer Zugfahrt

Seit vielen Jahren ist die Industrie 4.0 in aller Munde. Doch was verbirgt sich dahinter, wie nahm die Vision der vierten industriellen Revolution überhaupt Formen an und wie sieht die Zukunft in diesem Transformationsprozess aus? In unserer Artikelserie werfen wir einen Blick auf Vergangenheit, Gegenwart und Zukunft. ‣ weiterlesen

Störungsmeldesysteme
Grünes Licht für die Lebensmittelindustrie

In der Nahrungsmittelindustrie werden hohe Anforderungen an die Hygiene gestellt. Genau in diesem Bereich hat sich das niederländische Unternehmen Innovotech spezialisiert und zu einem wichtigen Anbieter von kompletten Anlagen und Maschinenlinien etabliert. Jetzt hat die Firma ein Großprojekt realisiert, in dem Signalgeräte von Werma in Ampelfarben zeigen, wie es um die Produktion steht. ‣ weiterlesen

Nutzenaspekte aktueller CRM-Plattformen
Plattformen für Customer Experience

Heute braucht es oft mehr als das beste Produkt, um langfristig gegen die Konkurrenz zu bestehen. Um die dafür erforderliche Kundenbetreuung sicherzustellen, ist der Betrieb einer CRM-Plattform beinahe obligatorisch. Ein Selbstläufer ist das nicht. ‣ weiterlesen