Studienprojekte

Im Projekt SiRet4 wird ein, in einem vorangegangen Studienprojekt konzeptioniertes Prototyping-Framework für die Entwicklung von ereignisbasierten Stereo-Vision-Algorithmen, erweitert und verbessert um Verfahren und Algorithmen der Bildverarbeitung anhand realistischer Messwerten bzw. Aufnahmen zu untersuchen und deren Echtzeitfähigkeit zu bewerten. Die Verifikation der Ergebnisse dieser Stereo-Algorithmen ist ein wichtiger Punkt, daher werden die berechneten Tiefenkarten mit den Daten eines Referenzsystems, einer Microsoft Kinect, korreliert und so die Genauigkeit der entwickelten Stereo-Algorithmen überprüft. Dazu werden bekannte Verfahren aus der Point Cloud Library (PCL) verwendet.

Ausgangssituation / Motivation / Einleitung

In vielen Anwendungen in der Robotik, Industrie oder im Automotivbereich spielt Bildverarbeitung in Echtzeit eine große Rolle, wobei die algorithmische Komplexität und die großen Datenmengen die möglichst schnell verarbeitet werden müssen ein großes Problem darstellen. Im Unterschied zu herkömmlichen bildgebenden Sensoren liefert ein ereignisbasierter Sensor, eine Silicon-Retina, nur dann Daten, wenn in einem Pixel eine Änderung der Helligkeit detektiert wird, d.h. es werden keine Bilder geliefert sondern lediglich Intensitätsänderungen (Events) zur Verfügung gestellt, wodurch die gelieferte Datenmenge variabel und in der Regel deutlich kleiner und die Geschwindigkeit wesentlich höher ist als bei normalen bildgebenden Sensoren. Allerdings müssen Algorithmen zur Kantendetektion, Tiefenschätzung, oder Strukturerkennung an diese Eigenschaften entsprechend angepasst bzw. neu entwickelt werden um das Verhalten solcher ereignisgesteuerte Sensoren ausnutzen zu können.

Ziel

Vorrangiges Ziel war die Weiterentwicklung und Verbesserung des Prototyping-Frameworks in MATLAB hinsichtlich Bedienbarkeit (einfaches wechseln und konfigurieren der vorhanden Algorithmen über die GUI), eine einfache Schnittstelle für die Integration neuer Algorithmen und die Implementierung einer modularen Schnittstelle für die Anbindung verschiedener Silicon Retina Sensoren mit unterschiedlichen Datenformaten und Auflösungen, sowie die offline Simulation aufgenommener Datensätze und die Entwicklung von Funktionen zum Aufbereiten dieser Bilddaten (z.B. erstellen von kurzen Sequenzen). Zusätzlich wurde ein Konzept zur Verifikation der Tiefendaten erarbeitet, indem die 3D-Punktwolken beider Kamerasysteme - Kinect und Silicon Retina - mit der PCL korreliert und dargestellt werden.

Ergebnisse

Nach der Überarbeitung des Frameworks wurden zwei ereignisbasierte Stereo-Vision Algorithmen erweitert und integriert und ihre Funktion anhand erster Simulationen überprüft. Die Software für die Datenaufnahme wurde ebenfalls neu implementiert und kann wahlweise über eine GUI in C# oder über MATLAB gesteuert werden. Für die Darstellung der 3D-Punktwolken wurde eine Software basierend auf die PCL erstellt, wobei die Registrierung der 3D-Daten beider Kamerasysteme in einem nächsten Schritt erfolgen wird.