Rekonstruktion dreidimensionaler Skelettpunkte aus Einzelbildern mithilfe neuronaler Netze

Die Rekonstruktion von 3D-Skeletten anhand gegebener 2D-Keypoints ist ein inkorrekt gestelltes (ill-posed) Problem. Um dennoch 3D-Skelette aus Einzelbildern eindeutig rekonstruieren zu können, muss Kontextwissen über das beobachtete Objekt einbezogen werden. Dieses kann in Form einer Base Shape Representation vorliegen, bei der das 3D-Skelett des beobachteten Objekts linear aus den Base Shapes konstruiert worden sein muss. Am Beispiel eines Datensatzes von Stühlen wird ein allgemeines Verfahren vorgestellt, welches sinnvolle Base Shapes für das betrachtete Objekt lernt, wobei keine Groundtruth-3D-Skelettpunkte vorliegen müssen. Ein 3D-Interpreter-Netzwerk wird mithilfe synthetisch generierter Daten darauf trainiert, anhand gegebener Keypoint-Heatmaps die 3D-Struktur des beobachteten Objekts in Bezug auf die Base Shapes sowie die Perspektive zu ermitteln, unter der das Objekt betrachtet wurde. Bei der Generierung der synthetischen Daten werden die Verteilungsparameter der realen Daten angenähert. Unter Einbeziehung von Groundtruth-3D-Skeletten kann der Erfolg des Verfahrens quantifiziert werden. Die entstandenen Base Shapes werden anschaulich visualisiert.