Ein Programmierer, der zum KI-Kurzfilmregisseur wurde, brauchte drei Monate, um die Goldmedaille bei einem internationalen Filmfestival für neue KI-Talente zu gewinnen

Wie kann sich ein von Nicht-Film- und Fernsehprofis produziertes KI-Werk von gewöhnlichen Kurzfilmen abheben?

Im Februar 2023 wurde Jim, ein Programmierer in der Spielebranche, zum KI-Künstler.

Im Dezember 2024 gewann Jims KI-animierter Kurzfilm „Ghost Diet“ bei den Independent Shorts Awards den Gold Award für den besten animierten Kurzfilm.

Dies ist ein einflussreiches internationales Kurzfilmfestival in der unabhängigen Filmbranche. Es ist nicht speziell für KI-Werke konzipiert, daher ist es für Jim von großer Bedeutung, dass die Jury das KI-Label ignorieren und sich auf die KI konzentrieren kann Geschichte selbst.“ .

Jim war für den größten Teil der Produktion von „Ghost Diet“ verantwortlich. Der Film ist 10 Minuten lang und hat insgesamt 242 Aufnahmen. Im Durchschnitt waren es mehr als 2 Stunden ein Tag.

Nach 90 Tagen der Schöpfung schien Jim gegen die KI zu kämpfen, sich den Grenzen der KI zu nähern und die Grenzen der KI zu umgehen. Als sich Internetnutzer nach dem Ansehen von „Ghost Diet“ darüber beklagten, dass „KI bereits mit der Arbeit an Animationen begonnen hat“, antwortete Jim: „KI wird von den Machern dazu getrieben, Animationen zu erstellen.“

3 Monate, 10 Minuten

„Ghost Diet“ ist ein Noir-Krimi, der im letzten Jahrhundert ein wichtiges Genre in Hollywood war. Gleichzeitig ist seine Geschichte aus der südwestlichen Region stammend und bezieht sich auf Snacks, die es noch gibt am frühen Morgen auf den Straßen geöffnet.

Der Protagonist Xu Xia ist ein junger Mann, der spät abends auf der Straße isst. Um seinen Vater zu behandeln, musste er ungerechte Entscheidungen treffen, aber er behielt auch ein unantastbares Endergebnis bei. Schließlich wird er in Gewalt und Mord verwickelt, gefangen in den Händen des Schicksals.

Anstelle von „KI-Animation“ wäre es möglicherweise angemessener, „Ghost Diet“ als „von KI-Tools erstellte Animation“ zu beschreiben.

Die KI ist für die Generierung der Bilder verantwortlich, der Rest, einschließlich Skripte, Schnitt, Synchronisation, Musik, Soundeffekte usw., wird alles manuell erledigt. Der Text im Bild wurde ebenfalls nachträglich hinzugefügt.

Rein grafisch handelt es sich bei Jim um ein „rein KI-generiertes Genre“. „Ghost Diet“ verfügt über keine Real-Shot-Renderings und setzt hauptsächlich auf Bilder und Videos. Die Bilder werden von Midjourney generiert, die Videos werden generiert von Keling, Pika, Jimeng, PixVerse und Runway.

Die Erzeugung von KI ist ungewiss, aber die Verwendung von KI zum Erzählen kohärenter Geschichten muss stabil sein. Seit Beginn des Charakterdesigns hat Jim darüber nachgedacht, wie er die Konsistenz der Charaktere erreichen kann.

Beim Entwerfen von Charakteren verfolgt Jim zwei Prinzipien. Erstens ist das Gesamtbild prägnant und das Erscheinungsbild lässt sich mit wenigen Schlagworten beschreiben. Das zweite ist, dass es ikonische Elemente hat, auch wenn es vorher und nachher nicht völlig konsistent ist, es einen hohen Wiedererkennungswert hat und vom Publikum auf den ersten Blick erkannt werden kann.

Die repräsentativsten sind Wang Ge und Li Jiajia. Wang Ge ist kahl, trägt Sportkleidung und eine Sonnenbrille. Sie sieht aus wie ein Retro-Mädchen aus den 1990er Jahren und trägt ein rotes Kleid und welliges Haar.

Der scheinbar sanfte Herr Zhu trägt eine Brille, einen Anzug und keinen Bart. Er scheint keine Gesichtszüge zu haben, die sich von gewöhnlichen Menschen unterscheiden. Er ist der Charakter, den Jim am häufigsten wiederholt hat.

Jim fand heraus, dass KI leicht Charaktere mit „altem Geld“-Temperament hervorbringen kann. Es ist für KI schwierig, einzelne Unternehmer wie Herrn Zhu zu messen, die reich, aber nicht elitär, gefährlich, aber kein Gangster sind.

„Live-Action, aber mit einem Animationsfilter“, so beschreibt Jim seinen Animationsstil. Das Publikum kann sich vorstellen, wie es wäre, wenn es von einer echten Person gespielt würde.

Nachdem jeder Charakter durch Vincents Zeichenmethode bestimmt wurde, wird das endgültige Make-up-Foto des Films erstellt. Dann nutzte Jim diese Bilder als Material, um weitere Bilder zu generieren, indem er Bilder auffüllte und Aufforderungsworte schrieb. Die Blickwinkel und Szenen waren unterschiedlich, aber die Charaktere blieben gleich.

Wenn genügend Bilder vorhanden sind, ist es an der Zeit, ein Video zu erstellen. KI-Videos iterieren schnell und „Ghost Diet“ verwendet die Version von August bis September 2024.

Für technisch schwierige Aufnahmen probierte Jim jedes verfügbare Videotool aus. Gleichzeitig hat jedes Tool auch seine eigenen Stärken. Jimeng, Keling und Pika sind die drei höchsten Nutzungsraten.

Zu dieser Zeit war Ji Meng gut darin, einige Action-Aufnahmen zu machen, Pika war gut in Szenenaufnahmen und einfachen Sprechanimationen und Ke Ling hatte starke umfassende Fähigkeiten. Die meisten Aufnahmen waren gut, aber unter bestimmten Umständen könnten sie überflüssig sein.

Allerdings sind viele Aufnahmen bei „Ghost Diet“ selbst mit heutigen Hilfsmitteln immer noch schwer zu erreichen. Da es relativ natürliche Ergebnisse liefert, ist es untrennbar mit traditionellen Methoden verbunden.

Bei der Lippensynchronisation beispielsweise muss der Synchronlehrer nachsynchronisieren, wenn die Figur nicht vollständig frontal ist, es sich auch nicht um eine Nahaufnahme handelt, die für die KI leicht zu erkennen ist, und alle Bewegungen, Gesichtsausdrücke und die Kamera in Bewegung sind basierend auf der Lippensynchronisation des Videos. Nach Ansicht von Jim bedeuten neue Funktionen keine Benutzerfreundlichkeit. Die alte Methode „mag zwar etwas umständlich sein, aber sie ist zuverlässig.“

Nische, vielfältig

Die Geschichte von „Ghost Diet“ spielt in einem südwestlichen Landkreis und die Charaktere sprechen alle Sichuan-Dialekt mit lokalem Akzent. Dies ist Jims egoistische Absicht. Auch der Malstil von „Ghost Diet“ ist sehr einzigartig. Internetnutzer, die es gesehen haben, sagten, es sei wie eine bestimmte Episode von „Love, Death and Robots“.

In seiner eigenen Gaming-Branche hat Jim zu viele homogene, bewährte Inhalte gesehen.

Die auf KI basierende Kreation kann personalisiert werden. Für qualitativ hochwertige Werke müssen große Unternehmen immer noch viele Ressourcen investieren, aber Jim sieht mehr Möglichkeiten darin, „ein Basiswerk“ zu produzieren.

Seit er Midjourney spielt, hat Jim deutlich gemacht, dass er keinen „pan-populären“ Stil schaffen möchte. Er ist ein intensiver Midjourney-Nutzer und kennt den Stil, den KI leicht generieren kann. Gleichzeitig sind dies auch seine Minenfelder.

Sein Lieblingsstil ist, dass es auf den ersten Blick schwer zu erkennen ist, um welches Genre es sich handelt, er hat ein Retro-Feeling, aber es ist kein völlig altmodischer Animationsfilm. Kurz gesagt, er ist „sowohl vertraut als auch neuartig“.

Für den Stil von „Ghost Diet“ ließ sich Jim vom Animationsregisseur Masaaki Yuasa und dem Manga-Künstler Yoshiharu Takashi inspirieren.

Er nutzte zunächst die Describe-Funktion von Midjourney, um die Schlüsselwörter ihres Stils zu verstehen, und schrieb dann weiterhin Aufforderungswörter und iterierte wiederholt, um Bilder zu generieren, die den Anforderungen entsprachen.

Das Weltbild von „Ghost Diet“ leitet sich größtenteils aus den Regionen und Elementen ab, mit denen Jim vertraut ist.

Im Jahr 2019 sah Jim „The Party at Southern Station“ von Diao Yinan mit Hu Ge in der Hauptrolle und war zutiefst schockiert: „Es hat ein sehr bodenständiges Setting, aber die Ästhetik und der Kern sind sehr noir.“ Er erkannte, dass traditionelle Genrefilme noch nicht abgeschlossen sind und dass es immer noch neue Lebendigkeit gibt, die auf lokalen Erzählungen basiert.

Im Jahr 2021 begann Jim, ein Drehbuch zu schreiben, und das Drehbuch enthielt im Wesentlichen den Prototyp von „Ghost Diet“, einschließlich einer kleinen Grafschaft, eines verzweifelten jungen Mannes und eines Dilemmas im Leben.

Im Jahr 2023 begann Jim, Midjourney zu nutzen, um KI-Konzeptkunst zu erlernen.

Vor 2024 hatte Jim jedoch nie darüber nachgedacht, tatsächlich einen KI-Film zu machen. Fotografie, Drehbücher und die Sprache der Objektive brachte er sich selbst bei, aber damit hörte er auf. Video nutzt Objektive, um Geschichten zu erzählen, aber es ist ihm noch nicht gelungen, eigene Aufnahmen zu machen.

Anfang 2024 nutzte Jim eine Reihe der ersten KI-Videos wie Pika. Er entdeckte plötzlich, dass er das Bild endlich steuern konnte, um die Aktion abzuschließen, das Bild anzupassen und zu modifizieren und die Bilder miteinander zu verbinden, um einen Kurzfilm fertigzustellen . Der Wunsch, etwas zu schaffen, ist stärker denn je.

Das Material ist da, und dann kommen Schnitt, Soundeffekte, Synchronisation und Vertonung. Jim dringt immer tiefer in den traditionellen Produktionsprozess eines Films ein. Er versuchte und lernte gleichzeitig und lud nach und nach einige stilisierte Werke mit herausragenden persönlichen Merkmalen auf Station B hoch.

Jims anderer KI-Kurzfilm „Hard Pop Gunner“ bezieht sich auf den Stil altmodischer amerikanischer Comics und die Form von Stummfilmen. Später gewann er den Kreativwettbewerb im KI-Bildwerbungswettbewerb, der von 1905 Movie Network, Bilibili und anderen ins Leben gerufen wurde Plattformen. Tao's Excellence Award.

KI kann den Asset-lastigen Status quo vieler Branchen noch nicht untergraben, aber für kleine Teams und einzelne Entwickler sind die Erstellungskosten akzeptabel geworden und vielfältige Inhalte haben die Möglichkeit, vom Publikum gesehen zu werden.

Jim sagte, dass er den Sichuan- und Chongqing-Hintergrund für „Ghost Diet“ etwas „absichtlich“ festgelegt habe. Er hat bewiesen, dass man sich bei der Erstellung einiger Nischeninhalte nicht mehr zu viele Gedanken über die traditionelle Stimme „zu riskant“ machen muss.

Eingeschränkt, kann auch eindeutig sein

Das 10-minütige „Ghost Diet“ darf nicht als langes Video auf Bilibili angesehen werden. Aber im KI-Kreis sind 10 Minuten eine seltene Zeitspanne, ganz zu schweigen davon, dass „Ghost Diet“ eine vollständige Geschichte erzählt.

Um diese 10 Minuten zu absolvieren, hat Jim sich und die KI fast an ihre Grenzen gebracht.

Die Actionszene im Hot-Pot-Restaurant in „Ghost Diet“ hat Jim viel Nachdenken gekostet. Jede Einstellung war geplant, aber der Endeffekt betrug nur weniger als 40 %.

Jim gab zu, dass die Kampfszenen der KI wirklich nicht gut waren. Es gab kein Schlaggefühl und es folgte nicht der Logik der Physik. Es war, als würde man in die Luft schlagen. Nicht nur Kampfszenen, sondern auch etwas größere Actionaufnahmen, Nackenwürgen, Hämmerwerfen und Schlagen mit Steinen sind mit KI schwer zu erreichen.

Wenn man eine Actionszene für die KI entwerfen muss, sollte man laut Jims Erfahrung zumindest keine Blankwaffen verwenden, sondern die KI kann diese Technik auch selbst nutzen die alten Hongkong-Filme, weil sie mich gerettet haben.

Wenn echte Schauspieler nicht gut schauspielern können, können sie auch auf Ersatzspieler zurückgreifen, doch ein lebendiger Ausdruck ist die Grundkompetenz eines Schauspielers. Dies ist jedoch auch ein Schwachpunkt der KI. Sie wendet entweder zu viel Kraft an oder hat ein ausdrucksloses Gesicht.

Im Oktober 2024 brachte Runway die Act-One-Funktion auf den Markt, die KI-Charaktere dazu bringt, auf der Grundlage von Performance-Videos realer Personen die gleichen Gesichtsausdrücke zu machen. Jim glaubt, dass dies ein Zeichen dafür ist, dass die KI tatsächlich einen Leistungsengpass hat, wenn immer mehr Produkte ähnliche Funktionen einführen.

Die Charaktere in „Ghost Diet“ erscheinen oft in Nahaufnahmen und Halbfiguren und verbergen damit eine weitere Schwäche der KI: Multi-Motiv-Aufnahmen. Als Jim die Aufnahmen entwarf, versuchte er, Mehrpersonenaufnahmen zu vermeiden, da er noch keine gute Lösung gefunden hatte.

Selbst wenn Sie in Midjourney nur Bilder generieren, kann es bei der Generierung von mehr als 2 Zeichen wahrscheinlich zu Problemen mit den Gesichtern kommen. Wenn Sie es zur Interaktion in ein KI-Video einfügen, wird die Szene noch chaotischer.

Die von der KI erzeugten Bilder sind sehr restriktiv, daher wird Jim im späteren Verlauf Nahaufnahmen, symbolische Aufnahmen, schnelle Bearbeitung und andere Techniken verwenden, um die visuellen Mängel auszugleichen. Die wiederkehrenden Tierbilder in „Ghost Diet“ sind ein Beispiel .

Metaphern und symbolische Techniken werden auch häufig in einigen altmodischen amerikanischen Noir-Filmen verwendet. In den 1940er und 1950er Jahren reichte die Technologie nicht aus und Vorschriften wie der Hays Code schränkten den Ausdruck gewalttätiger Bilder ein 2024.

Die Echos nach Jahrzehnten ließen Jim es sehr interessant finden: „Es mag eine etwas veraltete Methode sein, aber sie funktioniert sehr gut, wenn man sie in KI-Filme einbaut.“

Aber das Publikum ist ehrlich und wird Kommentare wie „reibungslose PPT-Verbindung miteinander“ und „verbesserte Version der dynamischen Animation“ abgeben. Jim akzeptierte es und entschied sich deshalb für die Erstellung von KI-Animationen.

Verglichen mit dem Live-Action-Stil mit glatter Haut und seltsamen Bewegungen wird die Animation das Publikum zumindest nicht zum Nachdenken bringen: Wow, das Ding von dir ist zu künstlich. Die Bewegungen der Charaktere sind etwas dumpf und steif und eher in Animationen akzeptabel, die nicht auf der Realität basieren.

Streben Sie nicht blind nach der Länge, sondern achten Sie zunächst auf die Qualität. Das liegt zum Teil daran, dass Jims Ziel normale Filme sind. Er meldete sich für die Independent Shorts Awards an, einen Nicht-KI-Wettbewerb, um die Jury dazu zu bringen, das KI-Label zu ignorieren und sich auf die Geschichte selbst zu konzentrieren.

Jim hofft, dass das Publikum beim Betrachten seiner Werke die Existenz von KI erkennen kann, jedoch nicht für KI, und keine Toleranz gegenüber dem Bewertungssystem von KI-Filmen zeigt. „Die KI-Community ist zu freundlich. Das ist sehr unangenehm.“ Hören Sie einige harte Worte. „Es ist notwendig.“

Schaffen Sie weiter Angst und besiegen Sie sie

In den AI-Nachrichten steht immer, dass „der Himmel sich über Nacht verändert“. Die Erstellung eines Kurzfilms hat 3 Monate gedauert, was schon eine lange Zeit ist.

Die KI verbessert sich täglich. Im Jahr 2023 kann Jim mit den täglichen KI-Informationen noch mithalten, aber ab Anfang 2024 wird es nicht mehr möglich sein, die Hotspots zu erfassen. Er kann auch ängstlich sein, aber nicht blind ängstlich wie viele andere Menschen.

Obwohl die Technologie leistungsstark ist, gibt es noch viel Arbeit, die von den Menschen selbst erledigt werden muss. Das Schwierige und Interessante an der Schöpfung ist, dass einige Probleme vom Schöpfer selbst gelöst werden müssen.

In „The Party at Southern Station“ gab es eine Schießereiszene, die Jim sehr beeindruckte: Alle tanzten auf dem Platz, die Polizisten in Zivil trugen leuchtende Schuhe, die Kriminellen schossen und die Polizisten verfolgten sie, während sie auf leuchtenden Lichtern gingen Blut, und dann schossen sie auch.

Jim war berührt von dem Kontrast zwischen Nervosität und Verspieltheit, wenn jeder an Square Dance denkt, wäre seine erste Reaktion „kitschig“.

Er glaubt, dass Elemente, die der Öffentlichkeit bekannt sind, in vielen Fällen nicht veraltet sind, es ihnen jedoch an einer eingehenden Erforschung durch die Urheber mangelt.

Im Gegenteil: Dinge, die mit alten Werkzeugen sorgfältig zum Ausdruck gebracht wurden, können durch neue Technologien möglicherweise nicht beseitigt werden.

KI-Videos wurden in vielen Versionen aktualisiert, aber Jim hat nicht die Absicht, frühere KI-Kurzfilme neu zu machen.

Das Design und die Kompromisse des gesamten Kurzfilms orientierten sich an den damaligen Einschränkungen der KI und waren in sich geschlossen. Wenn man nach ein paar Jahren zurückblickt, gibt es immer noch interessante Aspekte, was den Wert der Arbeit ausmacht.

KI kann Jim dabei helfen, weitere ähnliche Experimente durchzuführen und einige interessante Dinge zu überdenken. Er lässt sich die Antwort nicht gerne direkt von der KI sagen. Er löst Probleme lieber selbst und nutzt die KI als ein Werkzeug, das einem Taschenrechner ähnelt.

Anstatt KI zur Generierung von Werbespots und MVs zu verwenden, möchte Jim immer noch KI zum Erzählen von Geschichten nutzen. Für ihn ist „die ursprüngliche Absicht der Filmerstellung, den Schwerpunkt auf die Erzählung zu legen“.

Als Jim sich vor ein paar Jahren das Schreiben von Drehbüchern selbst beibrachte, bestand er neben dem Lesen von Büchern auch darauf, zu üben, die Drehbücher aufzuschreiben und sie vollständig zu schreiben: „Wenn du es nicht fertigstellst, bedeutet das nicht.“ viel."

Gleichzeitig schaut er sich viele Filme an, schaut sich ständig neue Filme an, sortiert interessante Szenen und schaut sich auch die Erklärungen und Zeichnungen anderer Leute an. Er sagte, dass er „keine solide Grundlage“ habe, aber er habe eine relativ Er ist sehr sensibel für Bilder und weiß, wie er mit der Linsensprache Emotionen und Gefühle präzise vermitteln kann.

Jetzt macht Jim eine Pause und plant, einige KI-Kreationen zu teilen, das nächste KI-Projekt auszuarbeiten und sich über den Unterricht zu informieren, um den neuesten Stand jedes KI-Videotools zu verfolgen. Seiner Ansicht nach sind die Ressourcen, die jeder investieren kann, gleich groß und dürfen nicht weggelassen werden, egal wie viele KI-Tools es gibt. Quantität ist bedeutungslos, wichtiger ist es, seinen eigenen Weg zu finden.

Im Kommentarbereich von Jims B-Sender beschrieb ein Internetnutzer sein Seherlebnis so: „Ein seelenloses Werkzeug, eine seelenvolle Schöpfung.“ Er antwortete: „Dieser Satz ist zu gewichtig.“

Der beste Weg, Angst zu bekämpfen, besteht darin, etwas zu erschaffen. Jim möchte in Zukunft nicht vermuten, was KI sonst noch leisten kann und wen sie ersetzen wird. Er glaubt lieber, dass die ständige Geburt neuer Werke in seinen eigenen Händen eine starke Barriere für einen Menschen darstellt.

# Willkommen beim offiziellen öffentlichen WeChat-Konto von Aifaner: Aifaner (WeChat-ID: ifanr) wird Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo