• +49 (0) 151 16598050
  • schneider_privat@gmx.net

prefinal thesis – Image Feature Tracking onboard of UAVs

Max Schneider > Blog > prefinal thesis – Image Feature Tracking onboard of UAVs
prefinal thesis – Image Feature Tracking onboard of UAVs
1 Jan

prefinal thesis – Image Feature Tracking onboard of UAVs

Max Schneider Jan 1, 2014 5409 8176

Untersuchung von Methoden zum Tracking von natürlichen Bildmerkmalen an Bord von UAVs

Abstract

Many small unmanned aerial vehicles (UAVs) are equipped with a camera. This thesis explains a system that has been developed to use the available aerial images to collect data which is then fused into the navigation system. The data can be used to improve the estimated position and orientation of the UAV. To get this information we track the position of many image features over a series of images. This process is expensive and therefore must be optimized to be executed with the on-board computer in real-time. First, we evaluate different algorithms in order to determine the best combination of algorithms for this task. Next, we optimize the parameters of these selected algorithms to meet the requirement of real-time tracking. Finally, the systems efficiency is tested in a flight simulation and quality measurements are taken.

Abstract

Viele kleine Flugdrohnen (Unmanned aerial vehicel, UAV) sind mit einer Kamera ausgestattet. In dieser Studienarbeit wird ein System entworfen, dass es ermöglicht aus diesen Bilddaten Messwerte zu ermitteln, die zur Stützung der Navigation eines UAVs verwendet werden können. Dazu müssen natürliche Bildmerkmale in den Luftbildern verfolgt werden. Die hierfür nötigen Berechnungen sollen vollständig an Bord des UAV durchgeführt werden. Die Verfolgung der Bildmerkmale ist ein sehr rechenaufwändiger Prozess und muss deshalb optimiert werden, damit er auf einem leistungsschwachen Bordrechner in Echtzeit laufen kann. Zunächst wird eine Auswahl an möglichen Algorithmen untersucht und anschließend die am besten geeignete Algorithmuskombination ermittelt. Diese wird dann weiter optimiert um alle Anforderungen des echtzeitfähigen Trackings von natürlichen Bildmerkmalen zu erfüllen. Abschließend wird in einer Flugsimulation die Leistungsfähigkeit des Systems überprüft und Qualitätsmerkmale ermittelt

 

Summary

In der vorliegenden Arbeit wurde ein System zur Verfolgung natürlicher Bildmerkmale an Bord eines UAVs entworfen, optimiert und anschließend getestet. Dazu wurde für alle nötigen Teilschritte des Trackings ein optimaler Algorithmus ausgewählt und im Zusammenspiel mit den anderen optimiert. Ziel war es das Trackingsystem für den Kamerarechner des iFR echtzeitfähig zu machen und so stabiles Tracking an Bord des UAVs zu ermöglichen.
Konkrete Laufzeit- und Qualitätsmessungen wurden für den FAST und SURF Detektor gemacht. Zusätzlich wurde ein eigener FAST-Detektor anhand der Bilddaten eines Referenzfluges trainiert. Als Deskriptor wurde SURF und BRIEF untersucht. Für die Zuordnung der Merkmale zwischen zwei Bildern wurden ein BruteForce und einen FLANN Algorithmus getestet und bewertet. Die ermittelten Zuordnungen werden anschließend durch eine Homographieberechnung mit einem RANSAC Algorithmus kontrolliert.
Die Untersuchungen zeigten jedoch, dass aufgrund der sehr beschränkten Rechenkraft des Bordcomputers konstant Eingeständnisse bei der Qualität gemacht werden müssen, um die funktionskritische Echtzeitfähigkeit zu ermöglichen.
Das finale System beruht auf der ORB Detektor Deskriptor Kombination und arbeitet mit 6 FPS bei einer verarbeiten Bildgröße von 376×240 Pixeln. Es kann bis zu 100 Bildmerkmale gleichzeitig verfolgen. Trotz der gemachten Einschränkungen liefert es durchgehend eine Zuordnung zwischen mehreren Bildpunkten zweier aufeinanderfolgender Bilder und kann somit die Daten für einen virtuellen Lage- und Positionssensor mit einer Updaterate von 140ms liefern. UAVs, die mit einer Kamera und dem Kamerarechner Gumstix Overo COM IronSTORM ausgestattet sind, können mit dem entwickelten System Messwerte zur Stuetzung der Navigation ermitteln. Für alle anderen Kameras und Rechner kann mit den ermittelten Datein schnell eine ideale Konfiguration gefunden werden. Die Daten zur Stützung der Navigation sind redundant zu den Messungen des GPS-Moduls und der IMU. Damit sind beispielsweise Anwendungen möglich, die ein autonom agierendes UAV bei Ausfall des GPS-Moduls selbstständig zum Startplatz zurückehren lassen.
Das System kann sehr leicht an die bessere Leistungsfähigkeit zukünftiger Kamerarechner angepasst werden und profitiert dann von dieser Rechenleistung durch zunehmende Genauigkeit, Geschwindigkeit und Zuverlässigkeit.
In den Messungen wurde festgestellt, dass der SURF-Detektor eine ideale Ausgangsbasis für das Tracking wäre. Da er jedoch zu rechenintensiv ist, konnte er nicht in das finale System übernommen werden. Ziel weiterer Arbeiten sollte es also sein, einen Detektor zu entwickeln, der die selben Bildpunkte wie SURF findet, dies aber mit einer Laufzeit von FAST erledigen kann.

 

MatchesBildN+1

Tags:

Schreib einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *