• +49 (0) 151 16598050
  • schneider_privat@gmx.net

Diploma thesis – 3D models of indoor spaces with Kinect v2

Max Schneider > Blog > Diploma thesis – 3D models of indoor spaces with Kinect v2
Diploma thesis – 3D models of indoor spaces with Kinect v2
14 Jun

Diploma thesis – 3D models of indoor spaces with Kinect v2

Max Schneider Jun 14, 2014 11 1323

Diploma thesis: Creating 3D models of indoor spaces

Dauer der Arbeit: 6 Monate
Abgabe: Juli 2014
Prüfer: Prof. Dr. Norbert Haala, Prof. Dr. Hans-Peter Röser (IRS)


Einleitung

In dieser Diplomarbeit wurde ein System zur Aufnahme von detailreichen und vollständigen 3D Modellen beliebig großer Innenräume entworfen. Diese Funktionalität konnte bisher nur durch die Vermessung der Innenräume mit einem terrestrischen Laserscanner erreicht werden. Kostengünstige Systeme, die ein vergleichbares Ergebnis liefern, gibt es nicht auf dem Markt. Zwar ist es möglich mit Software wie „Agisoft Photoscan“ oder „VisualSFM“ ein 3D Modell eines Innenraumes aus vielen Bildern des Raumes zu berechnen, jedoch erfüllen die Ergebnisse nicht den Anspruch an den geforderten Detailgrad und die Vollständigkeit der erstellten 3D Modelle. Mit Kinect Fusion und PCL Kinfu existiert Software, die die Aufnahme von kleinen Innenräumen von bis zu 5x5x5m³ mit dem Microsoft Kinect for Windows 3D Sensor ermöglicht. Die Software PCL KinfuLargeScale ermöglicht theoretisch die Aufnahme beliebig großer Innenräume in 3D. In der Praxis können jedoch nur von kleinen Räumen (ca. 5x5x5m³) geometrisch korrekte 3D Modelle erstellt werden. Bei größeren Räumen weisen die erstellten 3D Modelle große Verzerrungen auf.

Das in dieser Arbeit vorgestellte System schließt diese Lücke. Zur Aufnahme der 3D Daten wird ein Microsoft Kinect for Windows v2 Sensor verwendet, der im Rahmen des Developer Preview Programmes getestet werden konnte.

 

Umsetzung:

Zunächst wird mit dem Kinect-Sensor der Innenraum aufgenommen und der RGB-Stream mit 1Hz und der 3D-Stream mit 30Hz aufgezeichnet. Anschließend wird mit VisualSFM ein Bündelblockausgleich aller RGB-Bilder (Keyframes) berechnet um die Lagen des Sensors zu den Aufnahmezeitpunkten zu ermitteln.

Abbildung 1 – Die aufgenommenen RGB-Bilder im Raum angeordnet

Anschließend werden die Lagen der Tiefenbilder zwischen zwei aufeinanderfolgenden Keyframes interpoliert. Die Positionen werden dabei entlang eines Splines durch sämtliche Kamerapositionen der RGB-Bilder festgelegt. Die Verteilung zwischen den Keyframes wird äquidistant angesetzt. Für die Orientierung der Tiefenbilder wird von einer gleichmäßigen Rotation zwischen zwei aufeinanderfolgenden Keyframes ausgegangen. (Siehe Abbildung 2)

Abbildung 2- Schätzung der Kameratrajektorie mit Position und Lage für alle Tiefenbilder (Nicht alle Positionen und Orientierungen der Tiefenbilder werden angezeigt)

 

Die so geschätzten Lagen werden als Näherungslösung für die jeweilige tatsächliche Lage der Tiefenbilder verwendet. Diese geschätzte Lage wird im Folgenden durch einen Iterative-Closest-Point (ICP) Algorithmus weiter verbessert, wobei eine Maximalabweichung der verbesserten- zur vorberechneten Position und Lage nicht überschritten werden darf. Dieser Schritt verhindert, dass sich kleine Fehler in der Lageschätzung durch ICP über viele Schätzungen weiter aufbauen und eine große Abweichung von der vorberechneten Trajektorie entsteht. In strukturarmen Bereichen kann der ICP-Algorithmus die Lage der Tiefenbilder nicht schätzen. In diesem Fall wird dann die vorberechnete Bewegungsform weitergeführt, um eine stetige Trajektorie zu erhalten. (Siehe Abbildung 3) Mit der verbesserten Lagenschätzung für die gemessenen 3D Punktwolken werden diese in das 3D Modell integriert. Somit entsteht vollständiges 3D Modell des aufgenommenen Innenraumes. Die Ergebnisse sind in Abbildung 4 zu sehen.

Abbildung 3 – Vorberechnete und durch ICP-Algorithmus verbesserte Kameratrajektorie

 

Ergebnisse

Abbildung 4 – OL: Erstellte Punktwolke, OR: Punktwolke mit Ausreißern farbig, UL: gefilterte Punktwolke, UR: Extrahiertes Oberflächenmodell

Eine abschließende Überprüfung der ermittelten Längen, Winkel und Flächen im Modell bestätigt, dass das vorgestellte System die Geometrie des Raumes mit hoher Genauigkeit erfassen kann.

 

 

Zusammenfassung

Es wurde ein System zur Aufnahme beliebig großer Innenräume in 3D vorgestellt. Die Aufnahme wird mit dem Microsoft Kinect for Windows v2 Sensor durchgeführt. Nach der Aufnahme der Daten kann ein 3D Modell berechnet werden. Die erstellten 3D Modelle sind nahezu vollständig und weisen eine sehr hohe geometrische Genauigkeit auf.

 

Benotung

Diese Arbeit wurde von Prof. Haala mit „Sehr gut“ (1,0)  bewertet.

 

Video

 

Dokument

Download

Tags:
1Comments
  1. Pingback: Max Schneider - roomplan

Schreib einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *