Warum Face Capture kompliziert, aber wichtig ist
Eine Kurzanleitung zum Face Capture und der Technologie mit der OnPoint zu den Marktführern in diesem Bereich gehört
Von PETE CARVILL, OnPoint Studios
Aus dem Englischen übersetzt von: Steffen Müser-Arends
Nutzung von Faceware für das Face Capture
Wenn wir über Motion Capture sprechen, konzentrieren wir uns oft hauptsächlich auf den Körper. Die meisten Leute denken dabei an Menschen in schwarzen Anzügen, mit Tischtennisbällen bedeckt, die durch unser Motion-Capture-Studio in Berlin hüpfen. Und wenn Sie ein Nerd sind, was die meisten Leute in der Branche sind und als Abzeichen ihres Stolzes tragen, werden Sie wissen, wie Performance Capture bei der Produktion des Marvel Cinematic Universe oder Game of Thrones oder einer der unzähligen anderen Science-Fiction- und Action-Franchises eingesetzt wurde.
Das hat sicherlich einen gewissen Wahrheitsgehalt, aber in Wirklichkeit gibt es in unserer Arbeit viel mehr feine Details. Das zeigt sich beim Face Capture. In den Tagen von The Lawnmower Man, vor fast dreißig Jahren, waren die Gesichter der einzelnen 3D-Charaktere extrem einfache Entwürfe, die die Komplexität des Gesichtsausdrucks der Schauspieler des Films (Pierce Brosnan und Jeff Fahey) nicht vermitteln konnten oder wollten.
Im Jahr 1992 wurden die Effekte von The Lawnmower Man als revolutionär angesehen. Aber die Zeiten haben sich geändert. Die Produktion solcher Gesichtsanimationen wäre heute unerhört, weil sie nach modernen Standards sehr, sehr schlecht sind. Sogar der Film oder die Fernsehserie mit dem niedrigsten Budget würde sich vor einer solchen Schlamperei scheuen.
Doch bevor wir über die Erfassung von Gesichtsbewegungen sprechen, müssen wir wissen, worum es sich dabei handelt. Eine gute Definition findet sich in der wissenschaftlichen Arbeit Use and Re-use of Facial Motion Capture Data aus dem Jahr 2004: „Bei der Computer-Gesichtsanimation geht es um die realistische Animation menschlicher Gesichtsausdrücke, unabhängig davon, ob es sich bei diesen Ausdrücken um die üblichen emotionalen Reaktionen (Freude, Angst, Ekel usw.) oder um die Bewegung der Lippen und des Kiefers während des Sprechens handelt.
Schwierigkeiten beim Erfassen der Mimik
Es gibt eine Reihe von Schwierigkeiten bei der Erfassung von Gesichtern. Den Autoren der zitierten Arbeit zufolge liegen diese „in der Anwendung eines diskreten Abtasten von Oberflächenpunkten, um ein feines diskontinuierliches Netz zu animieren“. Darüber hinaus muss in dem allgemeinen Fall, in dem die Morphologie des Gesichts des Schauspielers nicht mit der des Modells, das wir animieren wollen, übereinstimmt, eine Form des Retargeting angewendet werden“.
Die Autoren fuhren fort: „Die Schwierigkeit der Aufgabe wird durch den Expertencharakter des Publikums noch verstärkt. Die Zuschauer können oft computergenerierte Bewegungen erkennen, die im Vergleich zu ihrer Erfahrung im Alltag gestelzt und unnatürlich wirken können.
Zwei Pipelines für das Face-Tracking
Face Capture mit ARkit für ein zukünftiges Projekt
OnPoint Studios verfügt über zwei Pipelines, über die es Face Capture durchführt – in Echtzeit und animiert. Gegenwärtig befindet sich der Großteil der Arbeit des Studios im ersteren. „Live-Gesichtserfassung gibt es schon seit einiger Zeit, wird aber nicht oft in Produktionen eingesetzt“, sagt Kevin Clare, der für die Gesichtserfassung zuständige Supervisor. „Bis vor kurzem haben wir Faceware Live verwendet, mit der wir die Daten von einer am Kopf montierten Kamera verarbeiten und die Live-Gesichtsaufnahme an einen Computer senden, bevor wir sie in UnReal streamen. Wir sind jedoch der Meinung, dass wir Faceware Live bis an die Grenzen ausgereizt haben. Um unsere Live-Erfassung weiter zu verbessern, wechseln wir zu Apples ARkit.
Mit ARkit wird das Team in der Lage sein, ein iPhone an der Brust oder am Kopf eines Darstellers zu befestigen und das resultierende Filmmaterial direkt in UnReal zu streamen. Diese neue Software ermöglicht es, Tiefeninformationen mit der Kamera aufzunehmen, die dann in ein manipulierbares Format umgewandelt werden. All dies wird durch ein Plugin erreicht werden.
Für die voraufgezeichnete Pipeline beabsichtigt OnPoint Studios bei Faceware zu bleiben, wird aber ein Upgrade auf die neue Software Faceware Studio durchführen, die es dem Team ermöglichen wird, eine große Anzahl von Gesichtsleistungsdaten schnell zu analysieren und neu auszurichten. Die Animatoren können sich dann auf das Polieren und Bearbeiten der Daten entsprechend den Anforderungen des Kunden konzentrieren.
Das nächste große Projekt bei OnPoint Studios
VR Streaming inklusive Face Capture für NeXR Seminar
Die Live-Gesichtserfassung stellt jedoch nach wie vor den größten Teil der Arbeit der OnPoint Studios dar. In naher Zukunft wird das Team NeXR Seminar umsetzen, einem virtuellen Seminar zum Thema Vernetzung. Das Produkt wird am Donnerstag, den 17. live gehen. Das Konzept sieht vor, dass ein Live-Moderator – Alexander Sascha Wolf – vor virtuellem Hintergrund und Effekten als animierten Charakteren über den Wert der Vernetzung interagiert. Das Ganze wird durch virtuelle Realität über die OnPoint-Schwesterabteilung VRiday übertragen.
Kevin arbeitet seit vier Jahren im Bereich der Gesichtsanimation, etwa doppelt so viel wie in der regulären Animation, und ist seit April 2018 bei OnPoint. Er sagt, was das Studio auszeichnet, ist sein kontinuierlicher Fokus auf Live-Aufführungen. „Im Vergleich zu anderen Studios“, sagt er, „liegt unser Hauptaugenmerk auf Live-Auftritten, so dass alles in diesem Bereich darauf ausgerichtet ist, bessere Leistungen zu erzielen“.
Das Team hat auch mit Partnern zusammengearbeitet, um deren Fähigkeiten zu verbessern. „Demnächst wird das virtuelle Seminar veröffentlicht,“ sagt Kevin, „in dem wir die Gesichtsleistung des Moderators in Echtzeit verfolgen werden. Die Seminarteilnehmer werden nicht nur den Körper sehen, sondern auch das Gesicht und die Finger, und das alles geschieht live. Es wird eine vollständige Aufzeichnung der Performance sein – Audio, Video, Animation – die mit dem Moderator gemacht wird.
Kevin sagt, dass das virtuelle Seminar ziemlich cool ist, und eine saubere Zusammenarbeit mit allen Bereichen des Unternehmens. Er freut sich schon darauf, alles live zu sehen. Das sollten Sie auch!
