Microsoft Photosynth

[Metzler]

Bin gerade über folgendes gestolpert ("eine neue Art des Browsens"):

http://www.tweakpc.de/news/9932/microsofts-live-lab-entwickeln-unter-dem-namen-photosynth-neue-surftechnik/

Was ich beeindruckend finde, ist, wie es das Programm schafft, aus vielen Bildern die korrekten Überlagerungen herauszufiltern und sich so eine 3D Repräsentation des Motivs herzuleiten (siehe Video in dem Link). Interessant wäre dennoch, wie das Programm bei nicht ganz so optimalen Bildern arbeitet (aufgenommen zu unterschiedlichen Uhrzeiten, Wetterverhältnissen, Menschenmengen etc.).

[Jules]

huhohahaha, so wie das da aussieht werden wir das "niemals" erleben, grund, wie du schon sagtest mit menschenmenge oder tageszeiten.
wichtiger aspekt, die PERPEKTIVE und QUALITÄT der einzelnen bilder.
ich glaube schon das das programm wirklich aus den bildern die merkmale herrausfiltern kann, aber das wird nicht so gehen wie in dieser präsentation........

PS:
wird ähnlich untergehen wie auch google world oder wie das hieß

aber dennoch, eine sehr coole idee die es verdient hätte in der praxis so zu laufen wie in dieser PRÄ, wird aber nicht sein!

[Senior Sanchez]

Dafür gibts Algorithmen die sogar erstaunlich einfach sind.

Stichwort Mustererkennung.

Es ist möglich das Bild über Kontraste zu analysieren, dass man sämtliche Kanten herausfiltern kann. Inner Bildbearbeitung nennt sich das Edgedetection.

Über diese Kanten kann man nun Aussagen treffen. Es gibt erstaunlich wenige mögliche Kombinationen von konkaven, konvexen und überlagernden Kanten und mittels Ausschlussverfahren und Schlussfolgerungen kann man das Bild genau analysieren und quasi "mathematisch" festhalten um dann später Modifikationen vorzunehmen oder einfach nur das Bild durch den Computer erkennen und vergleichen zu können.

Ich denke auch dass auch noch Kontrast, Helligkeits- und was auch immer Messungen dabei sind, um das ganze noch präziser zu machen.

[Coda]

Viel cooler wäre doch wenn das Ding ein richtiges Modell erzeugen würde und das gleich texturiert ;)

[Senior Sanchez]

Coda[/POST]']Viel cooler wäre doch wenn das Ding ein richtiges Modell erzeugen würde und das gleich texturiert ;)

Natürlich, aber da fehlen denke ich einfach zu viele Tiefeninformationen.

Aber mir gefällts auch so.

[Jules]

Coda[/POST]']Viel cooler wäre doch wenn das Ding ein richtiges Modell erzeugen würde und das gleich texturiert ;)

ja na klar, und am besten noch als .3ds oder .obj datei ausgeben lassen mit der du dann weiterarbeiten kannst :cool:

1. man nehme fotoaparat
2. schießt zig fotos von eigener stadt
3. lässt alles berechnen mit einem p3 800mhz :rolleyes:
4. UnrealEd version 4.5 (UE3) öffnen und rein importieren
5. player markierungen setzen
6. und hochladen ins netz und ne runde in deiner heimat spielen :biggrin:

was wäre das geil!

[3d]

Viel cooler wäre doch wenn das Ding ein richtiges Modell erzeugen würde und das gleich texturiert
ich dachte das würde es machen.

was meinen die dann mir "3d rasterbild" ?

hab das übrigens auch grad auf computerbase gesehen und wollte auch ein thread erstellen und fragen was die experten dazu sagen.
wie soll denn dieses 3d rasterbild erzeugt werden?

[Coda]

Schau dir das Video dazu an, dann wirds klar.

[tokugawa]

Coda[/POST]']Viel cooler wäre doch wenn das Ding ein richtiges Modell erzeugen würde und das gleich texturiert ;)

Sowas gibt's auch schon. Das VRVis Forschungszentrum in Wien hat sowas entwickelt, das einzige Bild das ich kenn ist allerdings das erste hier:

http://vcg.isti.cnr.it/cgf/winner.html

"The 3D reconstruction group at the VRVis Research Center, Austria developed a method to generate 3D models from a set of images with high redundancy. The 3D reconstruction is based on 4 consecutive steps, namely automatic orientation, multiple image segmentation, dense matching and multiview texturing."

Macht natürlich keine perfekten Models, aber der Ansatz ist schon mal sehr interessant.

EDIT:
Da gibt's noch mehr Bilder:
http://www.vrvis.at/2d3d/applications/culturalheritage/creativehistoriesjosefsplatz/josefsplatz.html

[3d]

Schau dir das Video dazu an, dann wirds klar mir nicht.

von wo kommen die daten für das rastermodell?
das programm hat doch nur ein 2d bild.

[Senior Sanchez]

3d[/POST]']mir nicht.

von wo kommen die daten für das rastermodell?
das programm hat doch nur ein 2d bild.

Wie ich aber oben andeutete, kann über Kanten z.B. die räumliche Struktur eines Objektes erfasst werden, auch wenn man nur ein 2D Bild hat. Durch die Menge der Informationen, in diesem Fall der Menge der Bilder, kann nun ein Rastermodell erzeugt werden, da man die Beziehungen zwischen den Kanten kennt.

[Benedikt]

tokugawa[/POST]']Sowas gibt's auch schon. Das VRVis Forschungszentrum in Wien hat sowas entwickelt, das einzige Bild das ich kenn ist allerdings das erste hier:

http://vcg.isti.cnr.it/cgf/winner.html

"The 3D reconstruction group at the VRVis Research Center, Austria developed a method to generate 3D models from a set of images with high redundancy. The 3D reconstruction is based on 4 consecutive steps, namely automatic orientation, multiple image segmentation, dense matching and multiview texturing."

Macht natürlich keine perfekten Models, aber der Ansatz ist schon mal sehr interessant.

EDIT:
Da gibt's noch mehr Bilder:
http://www.vrvis.at/2d3d/applications/culturalheritage/creativehistoriesjosefsplatz/josefsplatz.html

Hehe, also doch keine MS-Innovation (wahrscheinlich wurden die beiden Projekte eh zeitlich parallel entwickelt)... :cool:

Ich glaube, dass die Menge an Bildern, die im Video vorkommen, genau für den Zweck passend ausgewählt wurden. Fotos mit unterschiedlichen Belichtungsverhältnissen, unterschiedlichen Tages-/Jahreszeiten, unterschiedlichen Auflösungen würden Photosynth wohl ziemlich "verwirren". Von daher halte ich die Idee mit "beliebige Bilder aus dem Web zusammensuchen, um das 3D-Modell zu vervollständigen" für schwer bis gar nicht durchführbar. Dass muss schon sehr ähnliches bzw. ähnlich aufgebautes Bildmaterial sein.

Naja, vielleicht will Gates ja neue Absatzmöglichkeiten für Getty Images erkunden... :wink:

[Jules]

Benedikt[/POST]']Hehe, also doch keine MS-Innovation (wahrscheinlich wurden die beiden Projekte eh zeitlich parallel entwickelt)... :cool:

Ich glaube, dass die Menge an Bildern, die im Video vorkommen, genau für den Zweck passend ausgewählt wurden. Fotos mit unterschiedlichen Belichtungsverhältnissen, unterschiedlichen Tages-/Jahreszeiten, unterschiedlichen Auflösungen würden Photosynth wohl ziemlich "verwirren". Von daher halte ich die Idee mit "beliebige Bilder aus dem Web zusammensuchen, um das 3D-Modell zu vervollständigen" für schwer bis gar nicht durchführbar. Dass muss schon sehr ähnliches bzw. ähnlich aufgebautes Bildmaterial sein.

Naja, vielleicht will Gates ja neue Absatzmöglichkeiten für Getty Images erkunden... :wink:

Jules[/POST]']huhohahaha, so wie das da aussieht werden wir das "niemals" erleben, grund, wie du schon sagtest mit menschenmenge oder tageszeiten.
wichtiger aspekt, die PERPEKTIVE und QUALITÄT der einzelnen bilder.
ich glaube schon das das programm wirklich aus den bildern die merkmale herrausfiltern kann, aber das wird nicht so gehen wie in dieser präsentation........

PS:
wird ähnlich untergehen wie auch google world oder wie das hieß

aber dennoch, eine sehr coole idee die es verdient hätte in der praxis so zu laufen wie in dieser PRÄ, wird aber nicht sein!

[Monger]

PS:
wird ähnlich untergehen wie auch google world oder wie das hieß

Meinst du Google Earth? Ich wüsste nicht, dass das Programm irgendwie unerfolgreich wäre. :|

@topic:
Ich glaube nicht, dass das Tool für den Hobbytouristen gedacht ist, auch wenn MS das genau so gemacht: einer der Mitarbeiter hat einfach im Urlaub jede Menge Bilder geschossen. Auf Channel9 gibt es übrigens ein Interview mit einem der Entwickler.
Aber für professionelle Einsätze könnte das schon interessant sein. Man könnte so z.B. mit relativ niedrigem Aufwand eine Museumstour aufbauen und ins Internet stellen.

[tokugawa]

Naja ist klar, dass man dafür auch gute Quellenbilder braucht. Wir reden hier schließlich von Mustererkennung.

Aber für Ansätze wie diese 3D Reconstruction reichen ein paar gut geschossene Fotos, und es erleichtert einem wesentlich die Arbeit.

Ähnliche Ansätze gibt es übrigens mit 3D Scannern auch (Entfernungsmesser eigentlich), aus denen man dann Point Clouds bekommt.

[mekakic]

Hier geht es weiter: http://www.photoscala.de/Artikel/3D-Modelle-aus-Urlaubsfotos

[Peilo]

wie geil, würd gern man ne runde battlefild oder so in meiner stadt samt umgebenden wald und fluss zoggen^^

[sloth9]

Sowas gibt's auch schon. Das VRVis Forschungszentrum in Wien hat sowas entwickelt, das einzige Bild das ich kenn ist allerdings das erste hier:

http://vcg.isti.cnr.it/cgf/winner.html

"The 3D reconstruction group at the VRVis Research Center, Austria developed a method to generate 3D models from a set of images with high redundancy. The 3D reconstruction is based on 4 consecutive steps, namely automatic orientation, multiple image segmentation, dense matching and multiview texturing."

Macht natürlich keine perfekten Models, aber der Ansatz ist schon mal sehr interessant.

EDIT:
Da gibt's noch mehr Bilder:
http://www.vrvis.at/2d3d/applications/culturalheritage/creativehistoriesjosefsplatz/josefsplatz.html

Bladerunner wird langsam wahr...

[stav0815]

wie geil, würd gern man ne runde battlefild oder so in meiner stadt samt umgebenden wald und fluss zoggen^^
Vor Ewigkeiten gabs mal den Trend, dass jeder seine Schule als CS Map nachbauen wollte. Was glaubst du, was das für Konsequenzen hätte, wenn das Thema "Killerspiele" mal wieder aufflammt?

[Ringwald]

Vor Ewigkeiten gabs mal den Trend, dass jeder seine Schule als CS Map nachbauen wollte. Was glaubst du, was das für Konsequenzen hätte, wenn das Thema "Killerspiele" mal wieder aufflammt?

Das ist kein Trend, man macht es um das Mappen von komplexen Gebäuden zu üben, falls man selbst nicht genug Fantasie hat.