Die neueste Technologie von Byte „migriert“ Ausdrücke und Ausdrücke mit einem Klick, jeder ist ein Akteur

Kürzlich haben ByteDance und die Tsinghua-Universität gemeinsam die neueste Porträtanimationstechnologie „ X-Portrait 2 “ auf GitHub veröffentlicht.

Insbesondere ist X-Portrait 2 ein „ generatives Porträtübertragungsmodell “, das sehr intuitiv und einfach zu verwenden ist: Benutzer müssen lediglich ein statisches Porträt und ein „Performance“-Video mit Ausdrucksänderungen bereitstellen, und diese Technologie kann Ausdrücke „übertragen“. zu Porträts mit einem Klick, wodurch auch ersteres „ verschoben “ wird.

So was:

Wie Sie sehen können, ist die untere linke Ecke ein „statisches Porträt“ und die untere rechte Ecke ein „Performance-Video“. Die Funktion von X-Portrait 2 besteht darin, dass die Figur auf der linken Seite fast den gleichen Ausdruck wie die Figur hat auf der rechten Seite .

Neben dem „ Ausdruck “ ist auch das „ Benehmen “ fast eine Nachbildung auf Pixelebene:

Die in den Augenbrauen und dem Lächeln enthaltenen „Schlauheit“ und „Ungezogenheit“ werden alle genau dargestellt.

Selbst wenn der Kopf stark verdreht ist, ist X-Portrait 2 voll leistungsfähig und der Ausdruck wird nicht verzerrt:

Ein „pragmatischeres“ Verwendungsszenario besteht darin, dass es zur „ Lippensynchronisation “ verwendet werden kann, manchmal um den Anforderungen späterer Linienänderungen gerecht zu werden:

Die Wiedergabe ist nicht nur präzise, ​​sondern auch gleichmäßig und natürlich genug. Der Verlag nennt es auch „ ausdrucksstarke Porträtanimation “.

Offensichtlich kann dieses Modell eine stil- und domänenübergreifende Ausdrucksübertragung ermöglichen, realistische Porträts und Cartoon-Bilder abdecken, ist äußerst anpassungsfähig und kann für das Geschichtenerzählen in der realen Welt, die Präsentation animierter Charaktere, virtuelle Agenten und andere visuelle Effekte verwendet werden.

Im Hinblick auf Postproduktions-Spezialeffekte für Filme oder Animationen vereinfacht X-Portrait 2 zweifellos die bestehenden Prozesse zur Bewegungserfassung, Charakteranimation und Inhaltserstellung erheblich.

Im Vergleich zum Prototyp X-Portrait können die Verbesserungen und Innovationen von X-Portrait 2 nicht genug betont werden.

X-Portrait 2 verwendet einen fortschrittlicheren Ausdrucksencoder , der auf einem umfangreichen Datensatz trainiert wird. Er kann die subtilen Ausdrücke von Charakteren, einschließlich Details wie Schmollen, hervortretenden Wangen und Stirnrunzeln, genauer erfassen und reproduzieren Ausdrücke und verbessert ihren Realismus.

Gleichzeitig erreicht X-Portrait 2 eine effektive Trennung von Aussehen und Aktion , was bedeutet, dass bei der Migration von Ausdrücken die Erscheinungsmerkmale des Originalbildes erhalten bleiben und Ausdrucksänderungen das grundlegende Erscheinungsbild der Figur nicht beeinträchtigen, wodurch die Natürlichkeit verbessert wird und Konsistenz der Animation.

Es ist erwähnenswert, dass X-Portrait 2 auch auf innovative Weise ein generatives Diffusionsmodell einführt, das Ausdrucksänderungen unter verschiedenen Betrachtungswinkeln verarbeiten, flüssigere und realistischere Animationseffekte erzeugen und das Problem lösen kann, das bei herkömmlichen Methoden auftreten kann, wenn sich der Betrachtungswinkel ändert. Es tritt das Problem der Koordinationsstörung des Gesichtsausdrucks auf.

Darüber hinaus verbessert X-Portrait 2 auch die Möglichkeiten zur domänenübergreifenden Ausdrucksübertragung sowie den Animationsrealismus und den dynamischen Ausdruck.

Im Vergleich zu seinem früher erschienenen Konkurrenten Act-One von Runway ist X-Portrait 2 nicht weniger beeindruckend. Es ist auch der fröhliche Ausdruck von „Nice Grandpa“. Die erzeugte Wirkung von Act-One ist wie folgt:

Es scheint, dass nur „Migration“ erreicht wurde, und die Übertreibung des Ausdrucks ist offensichtlich abgeschwächt und auch etwas steif. Wenn Sie das Originalvideo abdecken, können Sie möglicherweise nicht erkennen, wen es imitiert.

Für denselben Ausdruck ist der folgende erzeugte Effekt von X-Portrait 2:

Neben der genaueren und feineren Wiedergabe von Ausdrücken scheinen wir in der Lage zu sein, die natürliche „ Freude “ zu spüren. Das ist die Stärke von X-Portrait 2.

Zu den Vorteilen von X-Portrait 2 sagten die Entwickler Folgendes:

Im Vergleich zu modernsten Methoden wie X-Portrait und dem kürzlich veröffentlichten Runway Act-One kann unser Modell schnelle Kopfbewegungen, kleine Veränderungen im Ausdruck und starke persönliche Emotionen originalgetreu wiedergeben. Diese Aspekte sind entscheidend für die Erstellung hochwertiger animierter Inhalte, wie sie beispielsweise in der Animations- und Filmproduktion zu finden sind.

Schauen wir uns einen intuitiveren Vergleich an:

Im Vergleich zum ursprünglichen X-Portrait besteht die Verbesserung von X-Portrait 2 offensichtlich darin, dass es „ natürlicher und sanfter “ ist, und im Vergleich zu Act-One ist X-Portrait 2 „ präziser und feiner “.

Auf jeden Fall fördert die Einführung von

# Willkommen beim offiziellen öffentlichen WeChat-Konto von Aifaner: Aifaner (WeChat-ID: ifanr) wird Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo