Wie OnPoint Studios die Finger captured
Übersetzt aus dem Englischen von: Steffen Müser-Arends
Hand is holding an axe for hand capture with gloves from StretchSense
Motion Capture hat uns in den letzten zehn bis fünfzehn Jahren große Momente der Schauspielerei beschert, von Sam Worthington und Zoe Saldana in Avatar über Andy Serkis‘ und Benedict Cumberbatchs Darstellungen von Gollum und Smaug in den Filmreihen „Der Herr der Ringe“ und „Der Hobbit“ bis hin zu Mark Ruffalo als „The Hulk“ im Marvel Universum. Das Publikum hat sich immer daran gewöhnt, immer ausgeklügeltere Teile des schauspielerischen Könnens eines Schauspielers in Motion Capture zu erleben, das Flimmern und Zittern der Emotionen zu sehen, die oft unter die Haut gehen und in eine erweiterte Realität übertragen werden.
Aber ein Aspekt dieser Technologie erweist sich auch heute noch als schwierig, und zwar das Capturen der Hände.
Die menschliche Hand besteht aus siebenundzwanzig Gelenken und Knochen, die von über hundert Sehnen und Bändern zusammengehalten und von vierunddreißig Muskeln bewegt werden, und zehn Fingern, die alle einzeln beweglich sind und sich nicht immer zeitgleich bewegen. Manche Dinge sind sehr einfach. Hände, lassen Sie uns das klar sagen, sind schwierig.
Niklas Bothe ist Head of Motion Capture bei OnPoint Studios in Berlin. Er sagt, dass es Gründe dafür gibt, warum das Capturen von Fingern beim Performance Capture über die letzten Jahre nicht üblich war. „Mit einem passiven System wie dem unseren ist es schwer“, sagt er. „Es bedeutet, dass man viele kleine Punkte auf die Handschuhe und Finger setzen muss. Wenn viele Marker so nahe beieinander liegen, bedeutet das viel Arbeit in der Post-Production.“
Es gab nicht viel an Lösungen für diese Probleme – nur Workarounds. Das Problem ist, dass das Ergebnis oft ein wenig angeschlagen aussieht. Dazu Niklas: „Das Cleaning der Finger dauert ewig. Es ist viel schneller, Handposen in der Post-Production zusammenzufügen. Das gilt vor allem, wenn mehrere Darsteller gleichzeitig agieren. All ihrer Fingerbewegungen zu erfassen ist eine ziemliche Herausforderung.
Vor kurzem hat das Motion-Capture-Studio in Berlin eine Partnerschaft mit der neuseeländischen Firma StretchSense aus Auckland begonnen. Ziel der Partnerschaft ist es, die Animation von Händen mittels Motion Capture zu verbessern. Angesichts der Tatsache, dass zwischen Berlin und Auckland rund 17.735 Kilometer liegen, handelt es sich um eine wahrhaft internationale Zusammenarbeit.
Shin Jeong Park ist kaufmännische Teammanagerin bei StretchSense. Sie sagt, dass es eine wirklich gute Synergie zwischen ihrem Unternehmen und OnPoint gibt. „Sie sind ein flinkes Team, das bei der Validierung und Integration neuer Technologien in ihre Pipeline sehr schnell arbeiten. Sie hatten so viele coole Showcases, die sie gemacht und geplant haben, bei denen wir wirklich ein Teil davon sein wollten“.
Gif shows the precision of hand capture with gloves
StretchSense wurde 2012 vom CEO Benjamin O’Brien mitbegründet und widmet sich seit 2018 der Entwicklung und Produktion eines Handschuhs zur Verbesserung der Datenerfassung. Ein wichtiger Teil der Entwicklung des Handschuhs war eine Art Dehnungssensor, der die Bewegungen der einzelnen Finger und Daumen erfasst. Innerhalb jedes Handschuhs verfügt jeder Finger über einen Spreizsensor mit drei Erfassungszonen, um die Beugung jedes Knöchels sowie die seitliche Spreizung bzw. das seitliche Abspreizen jedes Fingers zu erfassen. Ein Handgelenksensor erfasst die seitliche Bewegung des Handgelenks zur besseren Kalibrierung. Eine flache Sensorplatine ist mit allen 16 Sensorkanälen verbunden und verfügt über eine Handschuhschaltung, die Bluetooth- und USB-Kommunikationsprotokolle, Timecode-Eingabe, MicroSD-Protokollierung und eine optionale IMU für die Ausrichtung und Verfolgung der Hand im Raum unterstützt.
Park sagt: „Unsere Technologie beruht nicht auf der Verwendung optischer Marker, man braucht keine Kameras zur Datenaufzeichnung und muss sich keine Sorgen über Okklusionsprobleme machen. Ich denke jedoch, die bahnbrechendste Verbesserung, die die Studios erhalten, ist vor allem das sehr hohe Niveau an sauberen und genauen Daten“.
Die Handschuhe sind auch verstellbar. „Wir wissen“, fügt Park hinzu, „dass Hände verschiedene Formen, Größen und Bewegungsbereiche haben. Wir haben dies berücksichtigt und unsere Software so konzipiert, dass sie sich individuell anpassen lässt. Die Studios sind in der Lage, die Handschuhe auf ihre Darsteller zu kalibrieren und kundenspezifische Posenbibliotheken zu erstellen, um den perfekten Effekt zu erzielen, nach dem sie suchen“.
Beide Seiten profitieren derzeit von der Zusammenarbeit. Während StretchSense ein tieferes Verständnis dafür erlangt, wie ihre Technologie mit der Performance Capture übereinstimmt, ist OnPoint in der Lage, seinen Kunden ein besseres, maßgeschneiderteres Produkt anzubieten. Niklas sagt: „Mit diesen Handschuhen ist es möglich, die kleinsten Details der Hände zu erfassen, besonders wenn sie Dinge tun wie Musikinstrumente spielen oder einen Stift halten. Wir sind jetzt in der Lage, all dies genauer zu erfassen. Dadurch verkürzt sich nicht nur die Zeit, die wir in der Post-Production verbringen, sondern erhalten auch ein besseres Produkt.
