OpenAI Sora - Creating video from text

[Daredevil]

Moin!

ChatGPT ist Schnee von gestern jetzt gehts der kompletten Videobasierten Welt an den Kragen.
Wahnsinn, wie sehr diese Technologie das Internet, das Fernsehen und Bewegtbild komplett verändern wird.
Was meint ihr?

OpenAI Sora
https://openai.com/sora
Sora is able to generate complex scenes with multiple characters, specific types of motion, and accurate details of the subject and background. The model understands not only what the user has asked for in the prompt, but also how those things exist in the physical world.



Beispielvideos:
https://cdn.openai.com/sora/videos/snow-dogs.mp4
https://cdn.openai.com/sora/videos/tokyo-walk.mp4
https://cdn.openai.com/sora/videos/octopus-and-crab.mp4

NYTimes:
https://www.nytimes.com/2024/02/15/technology/openai-sora-videos.html
In April, a New York start-up called Runway AI unveiled technology that let people generate videos, like a cow at a birthday party or a dog chatting on a smartphone, simply by typing a sentence into a box on a computer screen.

The four-second videos were blurry, choppy, distorted and disturbing. But they were a clear sign that artificial intelligence technologies would generate increasingly convincing videos in the months and years to come.

Just 10 months later, the San Francisco start-up OpenAI has unveiled a similar system that creates videos that look as if they were lifted from a Hollywood movie. A demonstration included short videos — created in minutes — of woolly mammoths trotting through a snowy meadow, a monster gazing at a melting candle and a Tokyo street scene seemingly shot by a camera swooping across the city.


Mfg DD

[konkretor]

Ja es ist wirklich extrem, wie schnell diese Technik sich entwickelt

[Darkman.X]

Nach den Bildern vor einigen Wochen: Wo sind die entsprechenden Videos zu Taylor Swift? :freak:

[Fusion_Power]

Wow, das sieht beeindruckend aus und nach ziemlich viel Rechenaufwand. Aber die wichtigste Frage wie immer: gibts ne Porn-Sperre oder keine Restriktionen? :rolleyes:

[Leonidas]

GTA 7 on Sora:
https://twitter.com/PcPhilanthropy/status/1758247158921244999

[fondness]

Verrückt, hier ein paar Beispiele, alle extrem beeindruckend IMO:
https://twitter.com/duborges/status/1758196706733068326

[Loeschzwerg]

Technisch finde ich das ebenfalls sehr beeindruckend, aber sonst dreht es mir eigentlich eher den Magen um. Gerade in der jetzigen Zeit, wo verstärkt überall nur gehetzt und manipuliert wird, wo es an jeder Ecke bröckelt und bröselt... Genau da brauchen wir in meinen Augen keine Tools mit denen noch viel mehr Schabernack getrieben werden kann. Aber jetzt ist es halt nunmal da.
Für den Schaffensprozess (z.B. Spiel, Film... whatever) finde ich die Möglichkeiten durch AI durchaus sehr interessant, aber machen wir uns nichts vor, das wird überwiegend nur für Werbung, Abzocke und Verarschung verwendet.

[Daredevil]

Was man übrigens "gestern" schon n Videoform in "Filmen" machen kann, sieht man beim neuesten Video von Julian Bam ziemlich gut. Ich würde mir auch nen kompletten Film in der Art anschauen, wenns interessant ist. ^^
https://youtu.be/kgGPUt7C6E8?si=dtitdvZzrWtS3Osa&t=2105

Das ist natürlich weit entfernt von dem gezeigten von OpenAI, hat natürlich auch noch eine gewissen kreativen "Spielraum". Das machts aber natürlich für Kreative ohne kreative Skills viel einfacher, das finde ich echt klasse. Bildbearbeitung und Bildgenerierung nehme ich für meine YouTube Videos/Thumbnails auch sehr gerne, kleine Stock Videos machen alles natürlich viel attraktiver. Harte Zeit für Anbieter von Stock Content und eine Nicht-Wert schätzende Zeit für dieses Handwerk.

[woodsdog]

haha in GANZ GANZ naher Zukunft kann man schlicht gar nix mehr glauben, egal wie "real" es ausschaut.

R.I.P. Everything was man nicht mit dein eigenen Augen Live* gesehen hat.

*ohne Headset

war schön so lange es ging.

[Fusion_Power]

Ich sehs mal vorsichtig positiv. Endlich kann Hollywood wieder gutes CGI machen ohne dass sich die Künstler tot arbeiten. Die letzten Jahre wurde da ja leider oft viel Müll produziert, auch bei extrem teuren (Marvel) Produktionen. Die Effekte spiegelten oft nicht mal ansatzweise das hohe Budget wieder.

[Sardaukar.nsn]

Drehbücher bzw. Autoren braucht man ja auch nicht mehr so dringend da ChatGPT die Prompts für Sora auch vorher produzieren kann.
Als Schauspieler würde ich mir schnell Gesicht und Stimme patentieren lassen. Ist aber wahrscheinlich schon Realität.

[Lurtz]

Technisch finde ich das ebenfalls sehr beeindruckend, aber sonst dreht es mir eigentlich eher den Magen um. Gerade in der jetzigen Zeit, wo verstärkt überall nur gehetzt und manipuliert wird, wo es an jeder Ecke bröckelt und bröselt... Genau da brauchen wir in meinen Augen keine Tools mit denen noch viel mehr Schabernack getrieben werden kann. Aber jetzt ist es halt nunmal da.
Für den Schaffensprozess (z.B. Spiel, Film... whatever) finde ich die Möglichkeiten durch AI durchaus sehr interessant, aber machen wir uns nichts vor, das wird überwiegend nur für Werbung, Abzocke und Verarschung verwendet.
AI wird das bisschen Rest an gesundem Menschenverstand und gesellschaftlichem Zusammenhalt, der noch existiert, endgültig zerstören.

[mboeller]

https://newatlas.com/technology/openai-sora-video-ai/

Mammuts und Geländewagen sind so lala, die anderen Videos aber teilweise ziemlich beeindruckend.

[kleeBa]

Ich sehe schon das Video vor mir, in dem Kanzler Scholz alles zugibt, Chemtrails, 11.9. Inside Job, Impflüge, Corona Verschwörung, QAnon, gezielter Bevölkerungsaustausch in Deutschland/ Europa.....
Und die Hälfte der Deppen in den einschlägigen Telegramgruppen wird das glauben, weil das Video beweist das ja und so.

[GBWolf]

Ist schon Hammer, jeder kann jetzt alle seine Fantasien, Träume etc von KI verfilmen lassen.

Wird natürlich unendlich viel Müll produzieren aber auch unfassbar geniale Dinge die man bisher für unmöglich gehalten hat.

[readonly]

Braucht alles noch ein wenig. Man muss feste "Schauspieler" und "Drehorte" definieren können. Dazu Kamerastil usw. - Denke aber das bekommt man alles hin, da wird es mächtige Tools geben. Hollywood wird wohl einmal von rechts nach links gekrempelt.

[Durango]

Braucht alles noch ein wenig. Man muss feste "Schauspieler" und "Drehorte" definieren können.
Grad das, temporale Stabilität, ist verdammt schwer mit dieser Technologie (LLM). Das Ergebnis ist halt immer etwas ungewiss. Die Videos sehen nett aus, aber mit ein paar Schnitten und so vom selben Objekt sähe das anders aus.

[Daredevil]

Hier übrigens ein spannendes Interview vom WSJ mit dem CTO von OpenAI über Sora

OpenAI Made Me Crazy Videos—Then the CTO Answered (Most of) My Questions
https://www.wsj.com/video/series/joanna-stern-personal-technology/openai-made-me-crazy-videosthen-the-cto-answered-most-of-my-questions/C2188768-D570-4456-8574-9941D4F9D7E2

[Gouvernator]

https://humanaigc.github.io/emote-portrait-alive/

Sowas wäre auch nicht schlecht als GPU Anwendung für zu Hause. Fotos mit Audio File animieren.

[Ghost1nTh3GPU]

Grad das, temporale Stabilität, ist verdammt schwer mit dieser Technologie (LLM). Das Ergebnis ist halt immer etwas ungewiss. Die Videos sehen nett aus, aber mit ein paar Schnitten und so vom selben Objekt sähe das anders aus.

Naja, irgenwann fällt das auch unter die Wahrnehmungsschwelle: siehe z.B. die Stunt-Doubles in den aktuellen Non-KI-Filmen. ;)

Man muss halt die KIs weiter auf diese Anforderung Trainieren, notfalls durch Reinforcement durch eine andere KI, die solche Abweichung bemerkt bzw. nach einem menschlichen Aufmerksamkeitsmuster bewertet.

[mboeller]

gerade auf Twitter gefunden:

Sora auf Chinesisch:
https://x.com/bdsqlsz/status/1798710076175528354

[mboeller]

und noch ein Video auf Twitter:

https://x.com/ThingsHiddenn/status/1799111372267225155

Der Herr der Ringe, ein wenig modernisiert... SEHR witzig (IMHO)

[Fusion_Power]

Frag mich echt wie viel pure Rechenpower solche Szenen benötigen. Kann man das in der Form schon aufm eigenen PC deichseln oder muss es noch auf großen Serverfarmen generiert werden?

[mboeller]

Luma Preview:

https://x.com/justin_hart/status/1800926207577575450

WTF!!

[Karümel]

Interessant wird es wohl erst wenn die Clips nicht nur ein paar Sekunden dauern sondern Minuten, ob da alles immer noch "passt"?

[Durango]

Interessant wird es wohl erst wenn die Clips nicht nur ein paar Sekunden dauern sondern Minuten, ob da alles immer noch "passt"?
Wäre das möglich, hätten die das bereits stolz gezeigt.
Längere Videos mit Kamera- oder gar Szenenwechseln, wo Charaktere gleich bleiben, sind nicht möglich. Halt wie mit Bildern.

[Daredevil]

Wieso sollte das nicht möglich sein? Du muss ja "nur" das Modell hingehend trainieren, damit es genau dies macht und dann ist es selbstverständlich möglich, gleichbleibende Menschen zu erschaffen in verschiedenen Szenen. Genauso wie ein neuronales Netzwerk eine Katze erkennt, kann es auch darauf trainiert werden, eine bestimmte Person mit speziellen körperlichen Eigenschaften darzustellen. Dann braucht es nur noch Vorstellungskraft und Rechenleistung.
Das ist imho keine Frage des ob, sondern des wann und letzteres ist limitiert durch Rechenleistung, die in der Theorie umlimitiert ist.

Das eine Person praktisch immer "gleich" aussehen kann, zeigt die digitale Perle hier ganz gut
https://www.instagram.com/fit_aitana/

Und auch die ist ja nicht mal perfekt, sieht aber für die meisten fotorealistisch aus. Es braucht nur Rechenleistung um bessere Bilder zu erschaffen und somit irgendwann auch Videos in besserer Qualität und/oder Länge.

[Rooter]

Luma Preview:

https://x.com/justin_hart/status/1800926207577575450

WTF!!Was WTF? Ist immer noch größtenteils schwammig/wabbelig.

Interessant wird es wohl erst wenn die Clips nicht nur ein paar Sekunden dauern sondern Minuten, ob da alles immer noch "passt"?Ja, das ist der Damm, der gebrochen werden muss. Oder 2 Stunden. Oder mehrere Staffeln. :wink:

Wieso sollte das nicht möglich sein?Stimmt, bei ChatGPT kann man sich in einer Unterhaltung ja auch auf älteres beziehen. Wird nur eine Frage der Zeit sein, bis das auch für Videos möglich ist. "Lass Charaker XYZ dies und das an Ort ABC machen."

MfG
Rooter