Anzeige
Anzeige
Beitrag drucken

Sprint zum Machine Vision-Prototyp

Vier Anwendungen für eine Trägerplatine

Neben der Rechenleistung sind bei Embedded-Vision-Lösungen oft kompakte Maße gefragt. Um Anwendern ein kompaktes Setting und schnelle Prototypen zu ermöglichen, hat Teledyne FLIR einen Quartettträger mit TX2-Modul vorgestellt. Vier Beispiele illustrieren die Einsatzmöglichkeiten.

Prototypen-Setup für alle vier Anwendungen (Bild: Teledyne FLIR LLC)

Prototypen-Setup für alle vier Anwendungen (Bild: Teledyne FLIR LLC)

Immer mehr industrielle Applikationen setzen auf Embedded-Vision-Komponenten. Die Quartet Embedded Solution für TX2 von Teledyne FLIR ist auf besonders platzsparende Anwendungen ausgerichtet. Auf der enthaltenden Trägerplatine können bis zu vier Machine Vision-Kameras mit der Bandbreite von USB 3.0 angeschlossen werden. Das System beinhaltet den Deep-Learning-Hardwarebeschleuniger Nvidia Jetson TX2 und ist im Spinnaker SDK von FLIR vorintegriert. Kurz nach der Markteinführung berichtet der Hersteller von Anfragen von Anwendern, die damit Systeme für Inspektion, mobile Robotik oder Drohnen entwickeln wollen. Damit wird klar, dass beim Einsatz der Platine eine Fülle unterschiedlicher Möglichkeiten bestehen. Als Inspiration für eigene Projekte stellt dieser Artikel vier prototypische Anwendungen vor, die ersten drei verwenden das KI-Verfahren Deep Learning.

 Quartet Embedded Solution mit TX2, abgebildet mit 4 Blackfly S-Kameras und 4 FPC-Kabeln. (Bild: Teledyne FLIR LLC)

Quartet Embedded Solution mit TX2, abgebildet mit 4 Blackfly S-Kameras und 4 FPC-Kabeln. (Bild: Teledyne FLIR LLC)

Kennzeichenerkennung

Für die Kennzeichenerkennung kam ein handelsübliches Deep-Learning-Modell von Nvidia zur Nummernschilderkennung (LPDNet)1 zum Einsatz, um die Position der Nummernschilder zu erkennen. Um die Buchstaben und Ziffern zu erkennen, nutzten die Entwickler bei FLIR die Tesseract Open-Source-OCR-Engine2. Bei der Kamera handelte es sich um eine Blackfly S 8,9 MP Platinenfarbkamera (BFS-U3-88S6C-BD) mit Sony IMX267-Sensor. Die Projektteilnehmer begrenzten die Region of Interest für die Kennzeichenerkennung, um die Leistung zu beschleunigen, und wendeten Tracking an, um das System robuster zu machen. Die Ausgabe enthält Begrenzungsrahmen der Kennzeichen zusammen mit den entsprechenden Nummernschildzeichen. Entwicklungszeit: Zwei bis drei Wochen, in erster Linie um das System robuster und schneller zu machen. Testbilder: In LPDNet enthalten

Fahrzeugtyp-Kategorisierung

Für Anwendungsfall 2 ‚Fahrzeugtyp-Kategorisierung‘ mittels Transferlernen haben die Entwickler ein eigenes Deep-Learning-Objekterkennungsmodell auf drei Spielzeugautos SUV, Limousine und LKW trainiert. Es wurden etwa 300 Testbilder des Setups aus unterschiedlichen Entfernungen und Winkeln aufgenommen. Bei der Kamera handelte es sich um eine Blackfly S 5 MP Platinenfarbkamera (BFS-U3-51S5C-BD) mit Sony IMX250-Sensor. Die Mitarbeiter annotierten etwa drei Stunden lang die Begrenzungsrahmen der Spielzeugautos. Mittels Transferlernen trainierten sie das eigene Objekterkennungsmodell SSD MobileNet3, was auf einer Nvidia GTX1080 Ti GPU etwa einen halben Tag dauerte. Mithilfe des GPU-Hardwarebeschleunigers kann das Jetson TX2-Modul Deep-Learning-Inferenz durchführen und Begrenzungsrahmen der Autos zusammen mit den entsprechenden Fahrzeugtypen ausgeben. Entwicklungszeit: ca. zwölf Stunden, inklusive Bildaufnahme und -annotation, etwa 300 Testbilder.

Fahrzeug-Farbklassifikation

Zur darauf folgenden Fahrzeug-Farbklassifikation wurde dasselbe Deep-Learning-Objekterkennungsmodell wie oben genutzt, um die Autos zu erkennen, gefolgt von einer Bildanalyse anhand der Begrenzungsrahmen, um die Farbe zu klassifizieren. Die Ausgabe enthält Begrenzungsrahmen der Fahrzeuge zusammen mit den entsprechenden Nummernschildzeichen. Bei der Kamera handelte es sich um eine Blackfly S 3 MP Platinenfarbkamera (BFS-U3-32S4C-BD) mit Sony IMX252-Sensor. Entwicklungszeit: Es konnte da breits vorhandene Modell zur ‚Fahrzeugtyp-Anwendung‘ genutzt werden, plus zwei Tage für die Erweiterung auf Farbklassifikation inklusive Integration und Test. Testbilder: Die 300 vorhandenen Aufnahmen.

Anwendung 2: Streaming mit Begrenzungsrahmen und identifizierten voreingestellten Fahrzeugtypen samt Konfidenzfaktor (Bild: Teledyne FLIR)

Anwendung 2: Streaming mit Begrenzungsrahmen und identifizierten voreingestellten Fahrzeugtypen samt Konfidenzfaktor (Bild: Teledyne FLIR)

Anwendung 3: Streaming mit Begrenzungsrahmen und identifizierten voreingestellten Farbtypen (Bild: Teledyne FLIR)

Anwendung 3: Streaming mit Begrenzungsrahmen und identifizierten voreingestellten Farbtypen (Bild: Teledyne FLIR)

Frontscheibeneinblick

Die Reduzierung von Blendlicht spielt bei verkehrsspezifischen Anwendungen eine bedeutende Rolle, um beispielsweise Einblick durch die Frontscheibe zu erhalten und so die Nutzung von Sonderspuren für Fahrzeuge mit hoher Besetzung (HOV-Spuren), die Einhaltung der Gurtpflicht und sogar die Handynutzung während der Fahrt zu kontrollieren. Zu diesem Zweck entstand im Projekt eine kundenspezifische Kamera, die eine Blackfly S USB3-Platinenkamera mit dem 5-MP-Polarisationsfilter Sony IMX250MZR kombinierte. Teledyne FLIR kann verschiedene Sensoren von Kameras austauschen, um individuelle Kameraoptionen zu ermöglichen, hier um deren Funktion zur Blendlichtreduzierung zu demonstrieren. Dazu wurden die Kamerabilder über die SpinView-GUI von Teledyne FLIR gestreamt, die verschiedene ‚Polarisationsalgorithmus‘-Optionen wie Quad-Modus und Blendungsreduzierungsmodus bietet, um Blendlicht an einem stehenden Spielzeugauto zu reduzieren.

Anwendung 4: Polarisationsalgorithmus-Optionen wie Quad-Modus und Blendungsreduzierungsmodus helfen im Umgang mit Blendlicht. (Bild: Teledyne FLIR)

Anwendung 4: Polarisationsalgorithmus-Optionen wie Quad-Modus und Blendungsreduzierungsmodus helfen im Umgang mit Blendlicht. (Bild: Teledyne FLIR)

Gesamtsystemoptimierung

Während jeder der vier Prototypen unabhängig voneinander gut funktionierte, stellten die Projektteilnehmer bei der gleichzeitigen Ausführung aller Deep-Learning-Modelle eine ziemlich mangelhafte Gesamtleistung fest. Das TensorRT SDK von Nvidia bietet einen Deep-Learning-Inferenzoptimierer und eine Laufzeit der Nvidia-Hardware ähnlich dem Jetson TX2-Modul. Also optimierten die Entwickler die Deep-Learning-Modelle mithilfe des TensorRT SDK, was zu einer rund 10-fachen Leistungssteigerung führte. Zudem statteten sie das TX2-Modul mit einem Kühlkörper aus, um eine Überhitzung zu vermeiden, die beim gleichzeitigen Betrieb aller Anwendungen zu befürchten war. Schließlich gelang es, mit allen vier Anwendungen gleichzeitig gute Bildraten zu erzielen: 14B/s für die Fahrzeugtyp-Identifikation, 9B/s für die Fahrzeug-Farbklassifikation, 4B/s für die automatische Kennzeichenerkennung und 8B/s für die Polarisationskamera. Die Projektteilnehmer bewerten ihre Versuche als Erfolg, denn die Prototypen ließen sich in relativ kurzer Zeit entwickeln und grundlegend optimieren. Das TX2-Modul mit vorinstalliertem Spinnaker SDK sorgt für Plug&Play-Kompatibilität mit den Blackfly S-Platinenkameras und Nvidia bietet zahlreiche Tools, um die Arbeit mit dem TX2-Modul zu erleichtern. Interessierte Unternehmen können Quartet ab sofort über das vertriebsnetz des Herstellers oder direkt über dessen Websites erwerben. Eigenen Versuchsreihen auf dem Weg zur Spezialapplikation steht somit nichts im Weg.


Einkaufsliste
  • Die Quartet-Trägerplatine für TX2 von Teledyne FLIR. Sie bietet vier TF38-Anschlüsse mit dedizierten USB3-Controllern und ein Nvidia Jetson TX2-Modul. Das Spinnaker SDK des Herstellers ist vorinstalliert, was Plug&Play-Kompatibilität mit den Blackfly S-Platinenkameras ermöglichen soll.
  • Drei Standard-Platinenkameras der Reihe Blackfly S
  • Eine kundenspezifische Platinenkamera mit Sony IMX250MZR-Polarisationssensor
  • TF38-FPC-Kabel, die Strom und Daten über ein einziges Kabel übertragen können
  • LED-Leuchten beugen etwaiger Bewegungsunschärfe vor


Das könnte Sie auch interessieren:

Zerspaner müssen sich intensiv mit hoher Variantenvielfalt, kleinen Losgrößen und langen Rüstzeiten befassen, um wettbewerbsfähig zu fertigen. MES-Software mit Advanced Planning and Scheduling-Funktionalität hilft, die Herausforderungen der Branche anzugehen.‣ weiterlesen

Weltweit steckt der Einsatz von künstlicher Intelligenz (KI) noch in den Kinderschuhen. Die Mehrheit der Unternehmen, die KI einsetzen, experimentieren laut einer Accenture-Untersuchung in diesem Bereich noch. 12 Prozent nutzen die Technologie mit einem KI-Reifegrad, der einen starken Wettbewerbsvorteil bringt, so das Ergebnis der Studie.‣ weiterlesen

Thomas Herrguth verantwortet seit 1. Juli das Deutschlandgeschäft bei VMware. Sein Vorgänger Armin Müller konzentriert sich nun auf seine Rolle als Vice President CEMEA bei VMware.‣ weiterlesen

Bei Predictive-Quality-Anwendungen kann es sich auszahlen, nicht auf die Cloud, sondern auf Edge Computing zu setzen – vor allem dann, wenn es schnell gehen muss, erläutert Data-Science-Spezialist LeanBI.‣ weiterlesen

Der ERP-Auswahlberater Trovarit begleitete Buhmann Systeme bei seiner Software-Neuausrichtung von der Prozessanalyse bis zur Systemauswahl. Ein zentrales Element war der Anforderungskatalog mit 850 Punkten. Im Marktvergleich bot die Software AMS.ERP die höchste Abdeckung - und ihr Hersteller erhielt den Zuschlag.‣ weiterlesen

Gemeinsam wollen Siemens und Nvidia das industrielle Metaverse erschließen. Die Unternehmen wollen dafür ihre Partnerschaft ausbauen und durch die Verknüpfung von Nvidia Omniverse und Siemens Xcelerator realitätsgetreue digitale Zwillinge ermöglichen.‣ weiterlesen

Amazon Web Services hat auf dem AWS Summit in San Francisco drei Services angekündigt, die sich vor allem an produzierende Betriebe richten. Mit AWS IoT TwinMaker können Entwickler digitale Zwillinge etwa von Gebäuden, Fabriken, Industrieanlagen und Produktionslinien erstellen.‣ weiterlesen

Wachstum hatte die Personalarbeit bei Schuler Präzisionstechnik vor Herausforderungen gestellt. Die manuelle Bearbeitung von Vorgängen kostete Zeit und war umständlich. Daher wurde ein digitales Personalmanagement-System auf Basis einer Software für Enterprise Content Management (ECM) aus der Taufe gehoben.‣ weiterlesen

Die Berliner Fraunhofer Institute haben im Auftrag von German Edge Cloud und dem Innovationscluster 5G Berlin eine 5G-Infrastruktur in Betrieb genommen. Diese steht Kunden und Partnern aus Industrie und Forschung für Projekte zur Verfügung.‣ weiterlesen

PTC hat das neunte Major Release der CAD-Software Creo vorgestellt. Das Unternehmen mit Hauptsitz in Boston hat in die Weiterentwicklung der Modellierungsumgebung investiert, um die Benutzerfreundlichkeit und Produktivität zu erhöhen.‣ weiterlesen

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige