Modellbasiertes Tracking mittels Linienkorrelationen von texturlosen Objekten

Modellbasiertes Tracking mittels Linienkorrelationen von texturlosen Objekten

Im Rahmen des Vision+ K-Projekts wird ein modellbasiertes Trackingverfahren entwickelt, welches 3D-Modelle zur Berechnung der 6D-Pose (Orientierung und Position) heranzieht. Ein besonderer Schwerpunkt liegt auf dem Tracking von texturlosen Objekten, wie beispielsweise Autos oder Industrieanlagen. Die Einsatzgebiete dieses Trackingverfahrens reichen von der Robotik bis hin zu Augmented Reality.

Erfassung der 3D Objektpose

Für viele Anwendungen ist es notwendig, 3-D-Objekte in einer Videosequenz zu verfolgen. Soll z.B. ein Roboter Gegenstände manipulieren, so müssen diese verfolgt werden, um die Arme des Roboters korrekt auszurichten. In anderen Anwendungen, wie beispielsweise im Bereich Augmented-Reality werden Objekte verfolgt, um virtuelle Informationen einer realen Szene zu überlagern.

Die Orientierung des virtuellen Objektes in der wirklichen Welt und die dazugehörige Analyse der Kamerabewegungen wird auch Tracking genannt. Die einfachste Tracking-Methode funktioniert über Marker, die am Objekt ange-bracht werden. Hier gibt es bereits eine Vielzahl von zuverlässigen kommerziellen Lösungen.

Daneben gibt es markerlose Ansätze, die ohne Manipulation des realen Objektes auskommen. Bei Objekten mit wenig Textur sind modellba-sierte Trackingmethoden, die 3D-Modelle von Objekten aus der wirklichen Welt zur Orientie-rung benutzen, vielversprechend. Dazu ver-gleicht die Software Konturen der gespeicherten 3D-Modelle mit Konturen des im Video gezeig-ten Objektes. Wird eine Übereinstimmung gefunden, hat man das Objekt und seine Lage im Raum erfolgreich erkannt (Abb. 1).

Abb. 1: Übersicht der Eingabe- und Ausgabedaten des
kantenbasierten Trackings. (Copyright: AIT)

 

Modellbasiertes Tracking

Gemeinsam mit unserem Industriepartner INR entwickelten wir im Rahmen des Vision+ K-Projekts ein modellbasiertes Trackingverfahren für texturlose Objekte. Das entwickelte Trackingverfahren schätzt die Pose auf Basis von Modellpunkten, die sich auf den Kanten des Modells befinden, um Linienkorrelationen zu ermitteln. Zu diesen Modellpunkten werden korrespondierende Bildpunkte im Kamerabild gesucht. Ausgehend von der letzten Kamerapo-se wird zur Bestimmung der genauen Position eine eindimensionale Suche nach einer Kante im Bild durchgeführt. Die so extrahierten Punkt-korrespondenzen erlauben die Berechnung der Kamerapose, die iterativ verfeinert wird. Zur Erhöhung der Robustheit können die IMU-Sensordaten mit den aus den Bilddaten extrahierten Informationen fusioniert werden. Die derzeit erzielten Ergebnisse (Abb. 2) zeigen eine vielversprechende Qualität für unterschiedliche Anwendungen. Jedoch müssen die entwickelten Algorithmen u. a. noch echtzeitfähig gemacht werden sowie eine höhere Robustheit gegen variable Beleuchtungssituationen aufweisen.

Wirkungen und Effekte

Hochentwickelte Bildverarbeitungsalgorithmen wie modellbasiertes Tracking mit Fokus auf texturlose Objekte sind eine grundlegende Voraussetzung für neue Anwendungen in innovativen Märkten. Das System berechnet die Pose mit hoher Präzision und ist daher für unterschiedlichste Anwendungen geeignet. Diese erstrecken sich über zahlreiche Sektoren, z. B. Robotik und Augmented Reality (AR). Einsatzmöglichkeiten im Bereich AR erstrecken sich vom Marketing über das Training von Fachpersonal bis hin zur technischen Gestaltung von Räumen wie Geschäften und Industrieanlagen. Das Interesse aus verschiedensten Sparten der Industrie zeigt das Potenzial und die Relevanz dieser Entwicklung.

Abb. 2: Erfolgreiches Tracking in unterschiedlichen Situationen.
Visualisierung der geschätzten Pose (Copyright: AIT)