GAN - generative adversarial network - Realität in digitaler Welt noch zu retten?

[dreamweaver]

Es gibt in den Technologie Bereichen hier sicher schon den ein oder anderen Beitrag zu der AI-Technik GAN (generative adversarial network). Aber ich würde gerne eher die möglichen oder unausweichlichen Folgen solcher Techniken diskutieren. Deshalb im wissenschaftlichen Bereich.

Ein aktueller Artikel dazu:

https://cdn.technologyreview.com/i/images/screen-shot-2018-12-14-at-10.13.53-am.png?sw=1180&cx=0&cy=0&cw=594&ch=262

The faces above don’t seem particularly remarkable. They could easily be taken from, say, Facebook or LinkedIn. In reality, they were dreamed up by a new kind of AI algorithm.

Nvidia researchers posted details of the method for producing completely imaginary fake faces with stunning, almost eerie, realism (here’s the paper (https://arxiv.org/abs/1812.04948)).
https://www.technologyreview.com/s/612612/these-incredibly-real-fake-faces-show-how-algorithms-can-now-mess-with-us/

Dazu auch noch:

Even if we aren’t fooled by fake news, it might have dire consequences for political debate. Just as we are now accustomed to questioning whether a photograph might have been Photoshopped, AI-generated fakes could make us more suspicious about events we see shared online. And this could contribute to the further erosion of rational political debate.

In The Death of Truth, published this year, the literary critic Michiko Kakutani argues that alternative facts, fake news, and the general craziness of modern politics represent the culmination of cultural currents that stretch back decades. Kakutani sees hyperreal AI fakes as just the latest heavy blow to the concept of objective reality.

“Before the technology even gets good, the fact that it exists and is a way to erode confidence in legitimate material is deeply problematic,” says Renee DiResta, a researcher at Data for Democracy and one of the first people to identify the phenomenon of politically motivated Twitter misinformation campaigns.

Perhaps the greatest risk with this new technology, then, is not that it will be misused by state hackers, political saboteurs, or Anonymous, but that it will further undermine truth and objectivity itself. If you can’t tell a fake from reality, then it becomes easy to question the authenticity of anything. This already serves as a way for politicians to evade accountability.

...

As the powerful become increasingly aware of AI fakery, it will become easy to dismiss even clear-cut video evidence of wrongdoing as nothing more than GAN-made digital deception.

The truth will still be out there. But will you know it when you see it?
https://www.technologyreview.com/s/611810/fake-america-great-again/

Ist es nur eine Frage der Zeit, ab wann man Bilder/Videos (und vielleicht sogar Sound, was wohl schwieriger zu faken ist) nur noch mit tiefgreifender Analyse-Software oder eben gar nicht mehr als Fake entlarven können wird?

Ab diesem Zeitpunkt wären Nachrichten quasi wertlos, weil es keine Beweise mehr für irgendwas geben kann. Bilder eh nicht, und selbst Videomitschnitte von Vorträgen, Pressekonferenzen, Reden etc. könnte jeder als Fake abwerten, oder gefakte als echt deklarieren.


Trotzdem noch eine Verständnisfrage, die Gesichter da oben sind nicht das Ergebnis einer "besseren" Morphing-Software oder zusammengestückelte Gesichtsteile von verschiedenen Menschen, sondern komplett computergenerierte Gesichter. Richtig?

[Lokadamus]

Ist es nur eine Frage der Zeit, ab wann man Bilder/Videos (und vielleicht sogar Sound, was wohl schwieriger zu faken ist) nur noch mit tiefgreifender Analyse-Software oder eben gar nicht mehr als Fake entlarven können wird?

Trotzdem noch eine Verständnisfrage, die Gesichter da oben sind nicht das Ergebnis einer "besseren" Morphing-Software oder zusammengestückelte Gesichtsteile von verschiedenen Menschen, sondern komplett computergenerierte Gesichter. Richtig?Was meinst du mit Sound? Hab eben nach "Text vorlesen" gegoogelt und die ersten Treffer waren ganz nett.

Die Gesichter stammen grob gesagt von einem Zufallsgenerator, also ja, sie sind komplett generiert.

[dreamweaver]

Mit Sound meinte ich das z.B. auch eine Stimme komplett und quasi unerkennbar gefakt wird.

[Actionhank]

Trotzdem noch eine Verständnisfrage, die Gesichter da oben sind nicht das Ergebnis einer "besseren" Morphing-Software oder zusammengestückelte Gesichtsteile von verschiedenen Menschen, sondern komplett computergenerierte Gesichter. Richtig?
Der generative Teil generiert vermutlich aus einer Datenbank von millionen Gesichtern ein neues. Man kann sich das ganze vereinfacht wie eine Interpolation zwischen verschiedenen Gesichtern in der Datenbank vorstellen.

[joe kongo]

Ab diesem Zeitpunkt wären Nachrichten quasi wertlos, weil es keine Beweise mehr für irgendwas geben kann. Bilder eh nicht, und selbst Videomitschnitte von Vorträgen, Pressekonferenzen, Reden etc. könnte jeder als Fake abwerten, oder gefakte als echt deklarieren.


Empfinde ich als logische Konsequenz der technischen Entwicklung das alles simulierbar wird, zuerst in Form von beliebigen Datenströmen (Bild, Ton, Video)
und den damit vermittelten Inhalten, dann physische Abbilder (Cyborgs).

Imo hat die Welt wie wir Menschen sie wahrnehmen, spätestens dann aufgehört zu existieren. Computerspiele sind ja lustig, ernst wirds wenn sie Realität werden. Ist mir aber zu hoch um darüber nachzudenken weil ich sehe absolut keine Abwehrmöglichkeit bzw. wie man damit als Mensch noch leben könnte
(kann ja nicht jedem den Schädel wegpusten um zu schauen ob Kabel drannhängen).

Hawking hat gewarnt

[Lokadamus]

Mit Sound meinte ich das z.B. auch eine Stimme komplett und quasi unerkennbar gefakt wird.Daran arbeitet man.
http://www.taz.de/!5480958/
Sie könnte Menschen, die keine Stimme mehr haben, eine geben, das schon. Aber der Wissenschaftler von der University of Alabama at Birmingham spricht dann doch wieder schnell von den Gefahren, die von den Fake Voices ausgehen.

[Monger]

Ich muss gerade an ne Szene aus Dollhouse denken...
Kurz gesagt argumentieren sie dort so: Zivilisation funktioniert nur deshalb, weil wir Persönlichkeit und Körper als untrennbar wahrnehmen. Wir vertrauen darauf, dass die Person der wir heute die Hand schütteln morgen immer noch (fast) die selbe ist.
Analog wird sich das so schnell nicht ändern, aber digital?
Angenommen du kriegst nen Videoanruf von deiner Frau: "Hey Schatz! Du, ich bin am Bahnhof, kannst du mich abholen?"
Wenn du zukünftig hinterfragen musst ob Stimme und Aussehen echt sind, dann geht da etwas ganz fundamentales in die Brüche.

Da kommen wir dem Surrogates Szenario auch schon recht nah: Du hättest gerne ne Karriere wie Britney Spears? Such dir nen Körper deiner Wahl aus, solange deine Persona nur digital existiert, kein Problem.

Realität verliert so oder so zunehmend an Bedeutung. Ob das jetzt gut oder schlecht ist...

[Monger]

Nachtrag: Der größte Tabubruch dürfte wohl das adaptieren von toten Persönlichkeiten sein. Dazu muss es zu Lebzeiten viel digitales Material von jemandem geben.
Aber gerade in Diktaturen könnte es attraktiv sein, den großen Anführer ein paar Jahrzehnte länger leben zu lassen, um die Stabilität zu wahren. Ihn muss ja keiner aus der Nähe sehen.

[Trap]

Gibt auch überzeugende Fake-Audio zum Video Generatoren:
https://www.youtube.com/watch?v=eBrsJpuPol0

[Baalzamon]

Der generative Teil generiert vermutlich aus einer Datenbank von millionen Gesichtern ein neues. Man kann sich das ganze vereinfacht wie eine Interpolation zwischen verschiedenen Gesichtern in der Datenbank vorstellen.
Es ist so wie Lokadamus sagt: Es wird ein zufälliges Rauschen genommen und von dort 'hochgesampled'.

The generator is an inverse convolutional network, in a sense: While a standard convolutional classifier takes an image and downsamples it to produce a probability, the generator takes a vector of random noise and upsamples it to an image. https://skymind.ai/wiki/generative-adversarial-network-gan

[WhiteVelvet]

Erinnert Ihr Euch an Eure Kindheit, als Ihr Euch darüber gewundert habt, wie die Großeltern sich langsam aus der Welt der aktuellen Technik zurückziehen und teilweise resigniert aufgeben, neue Technik zu nutzen? Dann kamen so Sprüche wie "ich brauche das nicht" und "das ist nur etwas für die junge Generation"... langsam verstehe ich diese Haltung und finde es nachvollziehbar. Mir wird es irgendwann genauso gehen. Und spätestens wenn ich von so einer wie hier beschriebenen Technik lese, habe ich das Gefühl, mich da ausklinken zu wollen. Internet mal aus, mal wieder mit echten Menschen auf der Straße reden, sich an alte Zeiten erinnern. Ich weigere mich da einfach, mich von sowas abhängig zu machen. Ich weiß, dass gleich wieder die Fraktion "aber man muss sich doch weiterentwickeln!" um die Ecke kommt, aber ich denke, das sollte jedem selbst überlassen sein, was er für ein glückliches Leben braucht. Und wenn ich Technik irgendwann nicht mehr vertrauen kann (was man heute ja schon nicht mehr kann, aber man gewöhnt sich ja leider auch daran), fliegt sie halt raus.

[Hakim]

Naja gefaket wurde doch schon immer, ich sag nur Gleiwitz oder Tonkin. Jetzt kann man es halt besser.

[Thoro]

Nachtrag: Der größte Tabubruch dürfte wohl das adaptieren von toten Persönlichkeiten sein. Dazu muss es zu Lebzeiten viel digitales Material von jemandem geben.
Aber gerade in Diktaturen könnte es attraktiv sein, den großen Anführer ein paar Jahrzehnte länger leben zu lassen, um die Stabilität zu wahren. Ihn muss ja keiner aus der Nähe sehen.

Da fällt mir spontan der letzte Teil von I, Robot (der Kurzgeschichtensammlung) dazu ein. Wird dort zwar positiver dargestellt, aber ist im Prinzip genau das Dilemma: wie damit umgehen, dass man nicht unterscheiden kann ob jemand ein echter Mensch oder ein Roboter ist?

Allgemein sehe ich aktuell gerade nur die Möglichkeit, sich so weit wie möglich aus der digital vernetzten Welt zurückzuziehen (die Ironie das in einem Online-Forum zu schreiben ist mir durchaus bewusst :) ). Der reale Kontakt ist (noch) nicht fakebar, da fühle ich mich in meinem Einschätzungsvermögen noch recht sicher. Aber z.B. Medien, speziell die Kommentarsektionen oder Facebook-Sektionen zu irgendwelchen kontroversen Themen sind völlig jenseitig und gefühlt nur voll mit Agitatoren (ob jetzt echte Menschen, Trollfabriken oder komplett digital sei mal dahingestellt, macht aber kaum einen Unterschied). Im realen Leben kann ich solche Dinge auch mit Menschen vom anderen Ende des Meinungsspektrums großteils sehr gut diskutieren - online inzwischen gefühlt völlig unmöglich (siehe auch das PoWi-Forum hier z.B.).

Quasi Regionalisierung als Gegentrend zur digitalen Globalisierung.

[#44]

Jetzt kann man es halt besser.
Nicht nur die Qualität steigt - auch die Quantität wird dank Rechenleistung im Überfluss steigen.

Ob man das wirklich noch auf der selben Skala bewerten will, wie früher?

[Actionhank]

Es ist so wie Lokadamus sagt: Es wird ein zufälliges Rauschen genommen und von dort 'hochgesampled'.

The generator is an inverse convolutional network, in a sense: While a standard convolutional classifier takes an image and downsamples it to produce a probability, the generator takes a vector of random noise and upsamples it to an image. https://skymind.ai/wiki/generative-adversarial-network-gan
OK, stimmt. Letztendlich versucht der Generator die (Verteilung der) Daten zu reproduzieren.

[RaumKraehe]

Mit Sound meinte ich das z.B. auch eine Stimme komplett und quasi unerkennbar gefakt wird.

Das geht auch schon.

[Thoro]

Nicht nur die Qualität steigt - auch die Quantität wird dank Rechenleistung im Überfluss steigen.

Ob man das wirklich noch auf der selben Skala bewerten will, wie früher?

Ich finde es ist schon ein wichtiger Unterschied, dass es jetzt (?) bzw. in Zukunft komplett automatisch funktioniert. Wenn ich jetzt z.B. an die Fotofälschungen von Stalin denke (das erste gute Beispiel das mir dazu einfällt): da musste sich jemand dransetzen, mit einer nachvollziehbaren Motivation, die Arbeit erledigen und das dann auch publizieren/austauschen. Da kann man an jedem dieser Schritte dann ansetzen und die Fälschung wenigstens als solche entlarven. In Zukunft unmöglich, wenn das von AIs komplett eigenständig gemacht wird. Vielleicht noch mit File-Timestamps und so, aber die sind doch auch manipulierbar, so weit ich weiß. Nichtmal derjenige, der die AI irgendwann mal konzipiert hat wird in der Lage sein, deren Tun komplett nachzuvollziehen. Nochmal dazu die Empfehlung von den I, Robot-Stories, die legen einige dieser Dilemmas wirklich super und nachvollziehbar dar.

Wobei man dazu auch sagen muss, dass dieser Prozess ja schon lange begonnen hat und wir eh schon lernen (oder nicht lernen) damit umzugehen, gerade in der Politik. Was auf FB & Twitter gepostet wird ist oft der größte Blödsinn bzw. bezieht sich auf nachweislich gefälschte oder teilweise gefälschte Dinge. Vor allem wenn es um brandaktuelle Sachen wie Anschläge oder dergleichen geht, bei denen viel unklar ist. Das wird im Nachhinein dann ja auch oft korrigiert, spielt aber keine Rolle, weil massenweise Menschen auf die ursprüngliche Botschaft reagieren und der Politiker sich damit auf Basis eines Fakes profiliert. Und das ist absoluter Standard unter Politikern der FB-Fraktion.

[dreamweaver]

Das geht auch schon.

Die Stimme einer realen Person zu 100% faken, ohne daß dies erkannt werden kann? Auch nicht von Profis, mit entsprechender Analyse-Software?

[Monger]

Ich mein: Lösungen wären ja grundsätzlich auch da. Ende-zu-Ende Signierung, zum Beispiel. Egal ob mir jetzt jemand Audio, Video oder Text schickt: Wäre doch gut, verifizieren zu können dass der Gegenüber tatsächlich der ist was ich denke.

[dreamweaver]

Es kommt ja nicht zuletzt auch darauf an, welche Auflösung/Qualität GAN liefern kann.
Können die Bilder jetzt schon in gängiger MP-Größe produziert werden, oder nur als Thumbnails?

[joe kongo]

Es kommt ja nicht zuletzt auch darauf an, welche Auflösung/Qualität GAN liefern kann.
Können die Bilder jetzt schon in gängiger MP-Größe produziert werden, oder nur als Thumbnails?

Ob die Auflösung ein technisches Problem ist?
Aber vielleicht kann man an Rauschanteilen feststellen ob es künstlichen (bzw. digital überarbeited) oder natürlichen Ursprungs ist, eventuell gibts verräterische
Überbleibsel der Algorithmen.

[RaumKraehe]

Die Stimme einer realen Person zu 100% faken, ohne daß dies erkannt werden kann? Auch nicht von Profis, mit entsprechender Analyse-Software?

In wie weit da Analyse Software hilft, keine Ahnung.

Ich beziehe mich auf diesen Artikel:
https://motherboard.vice.com/en_us/article/3k7mgn/baidu-deep-voice-software-can-clone-anyones-voice-with-just-37-seconds-of-audio

Denn als ich das gelesen hatte habe ich mir die gleiche Frage gestellt. Wie kann man Bild und Ton überhaupt noch Vertrauen.

[Breegalad]

Mit den Standard-Werkzeugen aus Photoshop, Premiere und After Effects kann man ruckzuck alles entfernen oder hinzufügen.
Täuschend echt fürs Auge, aber in der Vergrösserung noch nachweisbar. Wenn man es sebst macht, schärft sich der Blick dafür.
Heftig wirds bei stereoskopischen 3D-Bewegtbildern, einiges geht mit Tools wie Mocha, aber nicht alles.
Fake-Ton ist Neuland für mich.

[Haarmann]

dreamweaver

Und wo ist da der Unterschied zu den "Fakenews" mit "Schaustellern" und unverständlichem Gebrabbel mit "Fakeuntertiteln"?

Wie man das herstellt ist doch imo nicht das Problem.