MS - Unwrap Mosaics - Videobearbeitung der nächsten Generation

[AnarchX]

http://img359.imageshack.us/img359/2590/create2426838bo5.gif (http://imageshack.us)


We introduce a new representation for video which facilitates a number of common editing tasks. The representation has some of the power of a full reconstruction of 3D surface models from video, but is designed to be easy to recover from a priori unseen and uncalibrated footage. By modelling the image-formation process as a 2D-to-2D transformation from an object’s texture map to the image, modulated by an object-space occlusion mask, we can recover a representation which we term the “unwrap mosaic”. Many editing operations can be performed on the unwrap mosaic, and then re-composited into the original sequence, for example resizing objects, repainting textures, copying/cutting/pasting objects, and attaching effects layers to deforming objects.
http://research.microsoft.com/unwrap/
(Video anschauen!)
Youtube: http://tw.youtube.com/watch?v=mNLx9pclMKU

Damit kommt man der SciFi-Vision, dass man z.B. in einem vorhanden Spielfilm den Hauptcharacter mit seinen eigenem Gesicht bestücken könnte doch wieder einen beachtlichen Schritt näher.

[=Floi=]

es ist schon gigantisch was alles möglich ist und wird, je stärker die rechenleistung steigt. So ein fortschritt ist ja wirklich unglaublich.

[IceKillFX57]

wow bin überaus begeisert was alles möglich ist.. erringert mich aber irgendwie an ein Video wo das Eye Toy 2 Kamera zum einsatz kommt.
Ist Unwrap Mosaics eine Kamera & Software Lösung oder reine Kamera oder Software lösung?

[AnarchX]

Ist Unwrap Mosaics eine Kamera & Software Lösung oder reine Kamera oder Software lösung?
Es ist eine Softwaretechnologie die langfristig in diverse Anwendungen Einzug halten könnte, unter anderem wohl auch ein zukünftiger MovieMaker, als Quelle für Ausgangsmaterial kann hier jede Kamera dienen, welche Szenen noch Probleme machen, zeigt man ja im Video.

Für Videospielprinzipe wie Eye Toy ist es sicherlich auch interessant, wobei man bei Unwrap Mosaics sicherlich eine höhere Genauigkeit erzielen möchte, was ja auch möglich ist, da man hier keinen Echtzeitanspruch hat.

[Lu-Tze]

Mann o mann... wenn das irgendwann mal verfügbar ist, werde ich damit definitiv rumspielen.
Eine Limitation sehe ich leider: Mann kann auf Leute zwar Zeug "draufmalen" (also z.B. die Kleidung ändern), aber ihnen z.B. keinen Hut oder so aufsetzen.
Naja egal, so ist das immernoch ziemlich gut, und vorallem beeindruckend einfach zu machen.

[IceKillFX57]

@LuTze
Das halte ich aber doch schon sehr für warscheinlich das es möglich ist oder halt wird.
Theoretisch machbar wäre es ja... nur man brächte dann halt 3D Modele oder sowas in der art. Die Mütze müsste dann halt nur wissen wann sie sich drehen muss und wo ihre feste Position ist. Und das mit der Position ist ja schon drin.
Naja wird wohl eher in der übernähsten Version dabei sein.

[Spasstiger]

Das ist soweit ich das sehe eine Anwendung aus dem Bereich der Bildregistrierung (http://de.wikipedia.org/wiki/Bildregistrierung). Man betritt also nicht wirklich Neuland damit.

Aber wenn das so für Homeuser kostenlos zur Verfügung gestellt wird (z.B. als Update für den Windows Movie Maker), wäre es schon eine tolle Sache. Zum Retuschieren von Hautunreinheiten in Hochzeitsvideos etc. wäre das z.B. sehr hilfreich.

[Mark]

Ist echt beeindruckend was mittlerweile möglich ist, auch wenn das Ganze im Moment nur in sehr bestimmten Szenen geht.

Ich frage mich ob man selbst in das "Moasaic" bewegende Objekte einbauen könnte

[Gast]

Cool;

damit kann man endlich Leute Sachen machen lassen die sie nie gemacht haben...

ähh??

Naja,
so eine Technik kann man leicht dazu benutzen um alle möglichen Leute in Porxxx oder anderen verfänglichen Situationen zu zeigen die sie in Wirklichkeit gar nicht erlebt haben. Sprich der Manipulation sind Tür und Tor geöffnet. Hübsche Technik, wirklich! :)

Also Video => Texture => 3D-Modell => Video (Kombination eines vorhandenem Video + zB. 3D-Modell vom Kopf + Texture aus dem alten Video)
Geht zwar jetzt auch schon. Der Aufwand ist aber wesentlich größer soweit ich weiß.

[Mark]

Das geht doch jetzt schon, eben nur mit mehr Aufwand.