Google VideoPoet: KI-generierte Videos mit weniger Artefakten und mehr Flexibilität
Google hat ein neues KI-Modell namens VideoPoet vorgestellt, das die Grenzen der Videogenerierung verschiebt. Das Modell ist in der Lage, 10-Sekunden-Clips zu generieren, die weniger Artefakte produzieren als frühere Modelle. Darüber hinaus ist VideoPoet in der Lage, eine Reihe von Aufgaben der Videogenerierung auszuführen, darunter Text-zu-Video-Konvertierung, Bild-zu-Video-Transformation, Videostilisierung, Inpainting und Video-zu-Audio-Funktionen.
Im Gegensatz zu seinen Vorgängern zeichnet sich VideoPoet durch die Fähigkeit aus, kohärente Videos mit großen bewegten Bildern zu erzeugen. Es beweist seine Fähigkeiten bei der Produktion von zehn Sekunden langen Videos und übertrifft damit seine Konkurrenten. Bemerkenswert ist, dass VideoPoet bei der Videogenerierung nicht auf spezifische Daten angewiesen ist, was es von anderen Modellen unterscheidet, die detaillierte Eingaben benötigen, um optimale Ergebnisse zu erzielen.
Diese Vielseitigkeit wird durch die Verwendung eines großen multimodalen Modells ermöglicht, das auf dem besten Weg ist, zum Mainstream in der Videogenerierung zu werden.
Wie funktioniert VideoPoet?
VideoPoet nutzt die Leistungsfähigkeit großer Sprachmodelle (LLMs) für die Videogenerierung. Das Modell integriert verschiedene Aufgaben der Videogenerierung nahtlos in ein einziges LLM, so dass nicht für jede Funktion separate Komponenten trainiert werden müssen.
Die resultierenden Videos haben unterschiedliche Längen sowie verschiedene Aktionen und Stile, die auf dem eingegebenen Textinhalt basieren. Darüber hinaus kann VideoPoet Eingabebilder in Animationen umwandeln, die auf bereitgestellten Eingabeaufforderungen basieren, und so seine Anpassungsfähigkeit an verschiedene Eingaben demonstrieren.
Quelle(n):
Google
Links mit einem * sind Partner-Links. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalte ich eine kleine Provision. Für euch ändert sich am Preis nichts. Danke für eure Unterstützung!
Um über alle News auf dem Laufenden zu bleiben, folge mir auf Google News oder Telegram, WhatsApp, Mastodon, Threads, Bluesky oder auf Facebook oder abonniere meinen RSS-Feed!
