Bild-basierte Repräsentation von Kleidung für virtuelle Anproben

Das beantragte Vorhaben befasst sich mit der Entwicklung realistischer Visualisierungsmethoden für Kleidung in Augmented Reality Anwendungen, in denen virtuelle Kleidungsstücke in echtes Videomaterial integriert werden. Aus wissenschaftlicher Sicht ist besonders die photorealistische Darstellung von bewegter Kleidung unter Echtzeitbedingungen eine Herausforderung. Existierende Ansätze können exakte 3D-Rekonstruktionen von Kleidung aus Multi-Kamera-Ansichten generieren, bei der Faltenwürfe genau in der 3-dimensionalen Geometrie nachgebildet werden, benötigen jedoch aufwendige Kameraaufbauten und lange Rechenzeiten. Andere Methoden erreichen Echtzeitfähigkeit, jedoch keine photorealistische Visualisierung. In diesem Projekt werden neue Ansätze zur echtzeitfähigen Visualisierung von Kleidung mit photorealistischer Qualität entwickelt. Dies wird durch eine neue posen-abhängige Repräsentation erreicht, die grobe 3-dimensionale Geometrie mit bildbasierter Information kombiniert. Die 3D-Geometrie modelliert Pose und grobe Form, während feine Details und komplexe Schattierungen an Falten durch zahlreiche Bilder, die Information über Schattierung, Texturverformung und Silhouette enthalten, repräsentiert werden. Dieses kombinierte Modell wird a-priori aus Multi-Kamera-Aufnahmen für zuvor definierte Posen bestimmt. Für die Visualisierung werden Geometrie und bildbasierte Information für neue Posen aus den zuvor aufgenommenen Posen interpoliert. Dadurch wird ein großer Teil des Rechenaufwands in die Trainingsphase verschoben und in der Darstellungsphase reduziert. Durch Trennung der zugrundeliegenden Textur von posen-abhängigen Erscheinungen, wie Schattierung und Texturdeformation an feinen Falten, kann das Erscheinungsbild des Kleidungsstück im Nachhinein individuell verändert ('retexturiert') werden. Der Einsatz bildbasierter Information ermöglicht eine realistische Visualisierung, während die zugrundeliedende 3D-Geometrie die Modellierung neuer Posen erlaubt.