AI und RTS [Archiv] - 3DCenter Forum

Vanilla

2018-05-09, 14:53:47

Hallo 3DC, in letzter Zeit liest mal viel über KI und Deep-Learning, so dass man den Eindruck bekommt, hier hat sich in letzter Zeit einiges getan. Als langjähriger RTS-Spieler bringt mich das zu der Frage ob AI in dieser Disziplin inzwischen besser als der Mensch ist.
Bei Schach ist die Hürde ja bereits vor Jahrzehnten gefallen, so dass selbst Weltmeister von Schach-Computern besiegt werden. Im Spiel StarCraft-2 kann man auch gegen AI Spielen, die kann aber schon von Durchschnitts-Spielern besiegt werden.
Auf hohen Schwierigkeitsgrad erhält der Computergegner sogar zusätzliche Ressourcen und cheatet somit; scheinbar war es den Programmierern nicht möglich mit fairen Mitteln den Schwierigkeitsgrad weiter zu erhöhen.
Da die APM von Computern natürlich viel höher ist als von Menschen, frage ich mich, was man machen müsste, um eine AI zu erschaffen die einen RTS-Champion wie Maru (SC2/Korea) besiegen kann.

johla

2018-05-09, 15:04:40

Gibt es nicht von Google DeepMind schon sowas? https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/

Opprobrium

2018-05-09, 17:50:33

Ist halt die Frage ob ein RTS gut ankommt bei dem man keine Chance gegen die KI hat :smile:

Auch werden oft andere Rechnerkaliber eingesetzt wenn ein Computer gegen die Schach und Go Großmeister antritt.

Zusätzlich liegt der Fokus bei den RTS Programmierern ja oft auch noch auf anderen Dingen wie Multiplayer Balance, Missionsdesign, Grafik, Story,

Wenn man ein paar Spezialisten drauf ansetzt könnten die bestimmt eine KI bauen die auch in Star Craft jeden menschlichen Spieler schlägt.

Wolfram

2018-05-09, 18:30:01

Außerdem haben die Schach-Großcomputer ja riesige Eröffnungsbibliotheken zur Verfügung, die auf menschlicher Erfahrung beruhen. Also quasi doppelte brute force...:biggrin:

Und beim Schach kann man sicher sein, dass sich der Aufwand lohnt, weil sich die Regeln nie ändern. Bei einem RTS, das in ein paar Jahren niemand der spielt, wird kaum jemand den Aufwand betreiben wollen. Es sei denn, man könnte die Aufgabe irgendwie verallgemeinern.

Trap

2018-05-09, 19:34:16

Es gibt 2 Hauptunterschiede zwischen Schach/Go und den üblichen RTS:

im RTS gibt es fog of war
in einem RTS hat man um Größenordnungen mehr "Züge" pro Partie (egal ob man jetzt wirklich die Server-Ticks zählt, oder Pro-APM * Spiellänge)

Soweit ich weiß gibt es für beide Themen noch keine fertige Standardlösung, die man einfach anwenden kann und es sicher funktioniert.

Aber es erscheint im Moment mit einem Forscherteam in wenigen Jahren erreichbar. Für Dota2 versucht sich ja OpenAI grade an dem Thema https://blog.openai.com/dota-2/

Fusion_Power

2018-05-09, 19:41:48

Hab mal gehört dass es immer noch nen gigantischen Unterschied für ne KI macht ob ein Spiel feste und "perfekte" Regeln hat (Schach, Go...) oder eben nicht, wie die meißten PC Spiele. Hab mal ne Demo gesehen von ner DotA KI, so mit deep learning und allem. Die war gut aber konnte auch nur einen bestimmten Char steuern den sie gelernt hatte. Dazu in nem gecht begrenzten Test-Szenario.
Ich hoffe trotzdem weiterhin auf gute KI in Spielen. Kann ja nicht schaden wenn sich z.B. NPC's in Shootern besser verhalten und nicht nur wie dummes Kanonenfutter. Ganz zu schweigen Von Strategiespielen.
Vllt ist die KI irgend wann auch mal so gut, dass sie die berüchtigten Harvester aus den C&C Spielen gescheit steuern kann, soweit ich weiß waren die in so ziemlich allen Teilen Totalversager ohne Hilfe vom Spieler. XD

Demirug

2018-05-09, 21:34:19

Es gibt 2 Hauptunterschiede zwischen Schach/Go und den üblichen RTS:

im RTS gibt es fog of war
in einem RTS hat man um Größenordnungen mehr "Züge" pro Partie (egal ob man jetzt wirklich die Server-Ticks zählt, oder Pro-APM * Spiellänge)

Der FOW ist gar nicht mal so das Problem. Ein großes Problem ist das ein RTS Spielfeld unheimlich komplex im vergleich zu "einfachen" Spielen wie Schach ist..Für ML bräuchte man da ein unheimlich großes Netz. Das man zudem wohl für jede Map dann auch noch neu trainieren müsste. Auch hat man für alte Spiele sehr viele Aufzeichnungen vom gespielten Partien die man zum trainieren benutzten kann.

Vllt ist die KI irgend wann auch mal so gut, dass sie die berüchtigten Harvester aus den C&C Spielen gescheit steuern kann, soweit ich weiß waren die in so ziemlich allen Teilen Totalversager ohne Hilfe vom Spieler. XD

Das war in den späteren Teilen Absicht. Eine Art Runnig Gag, Ich weiß das da wir für TA am Anfang auch über umherfahrenden Harvester nachgedacht haben und vom Loremaster die Anweisung hatten das wenn wir das machen sie nicht besonders schlau sein dürfen.

dabad1

2018-05-10, 17:43:27

DeepMind arbeitet aktiv daran eine "AI" für sc2 zu trainineren:
https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/

Für StarCraft ist es schwere eine "AI" zu trainieren als für Go aus mehreren Gründen. Wie bereits erwähnt ist Go "fully observed" während in sc die Aktionen des Gegner nicht gesehen werden. Hinzu kommt bei Sc2, dass spieler/ai lernen müssen welcher Teil des Spielfeldes gerade wichtig ist.

Sc2 ist real-time, Go ist turn-based.

Der Go Aktionsraum (Stein auf Kreuzpunkt setzen) ist diskret, während er in sc (maus y/x position, hotkeys) wahrscheinlich kontinuierlich modelliert werden muss.

Imo am wichtigsten: die anzahl der Aktionen pro Spiel sind in Go viel kleiner als in sc. In Go werden ungefähr 200 Aktion bis Reward/Lernsignal durchgeführt. Maru in sc2 führt ~400 Aktionen pro Minute aus.

Damit eine "AI" sc lernen kann braucht es ein Modell um zu bestimmen ob eine ausgeführte Aktion die Wahrscheinlichkeit eines Sieges erhöht. In Go löst DeepMind dieses über monte carlo simulation, dieses funktioniert so einfach in sc nicht.

Ich denke es braucht noch 1-2 großere AI Durchbrüche bevor eine trainierte AI maru in sc2 schlägt. Vielleicht reicht aber auch eine "AI" welche nur auf Micro trainiert ist und zusätzlich einen definierten Strategie Baum hat.

Gast

2018-05-10, 18:47:00

Ist zwar sicherlich weniger komplex als Starcraft, aber im Grunde sind ja auch die ganzen MOBAs eine Art RTS:

https://arstechnica.com/gaming/2017/08/ai-bot-takes-on-the-pros-at-dota-2-and-wins/

Wie man sieht ist mittlerweile schon einiges möglich.

Monger

2018-05-10, 20:42:09

Es gab ja bereits KI die sehr erfolgreich Poker gespielt hat, also auch ein verdecktes Spiel. Die war auch im Bluffen gar net übel.

Klar ist bei SC2 die Reaktionsgeschwindigkeit ein Problem, aber es ist immer noch mehr Taktik- als Strategiespiel. In Go kannst du gewinnen, indem du jetzt einen Zug machst der erst in 20 Zügen dir einen Vorteil verschafft. Wenn du in SC2 länger als 5 Minuten nicht Druck machst, verlierst du.
SC2 ist als Spiel bei weitem nicht so gut erforscht wie Schach. Bin mir ziemlich sicher dass ne KI da sehr schnell mit Taktiken kommen würde die noch kein Mensch je gesehen hat.

Vanilla

2018-05-11, 10:00:55

Danke johla und dabad1 für den interessanten Artikel auch der Text über Dota 2 war recht aufschlussreich.
Wobei die AI in Dota ja nicht wirklich das Spiel spielt sondern ein 1v1 auf einer Lane gewinnt. SC2 finde ich als Testumgebung daher interessanter, allerdings scheint es auch hier noch ein weiter Weg zu sein. Laut Artikel kann die Deep-Learning-AI nicht mal die einfachste selbst-programmierte AI besiegen.
Our initial investigations show that our agents perform well on these mini-games. But when it comes to the full game, even strong baseline agents, such as A3C, cannot win a single game against even the easiest built-in AI. Solche Aussagen wie "Wenn man ein paar Spezialisten drauf ansetzt könnten die bestimmt eine KI bauen die auch in Star Craft jeden menschlichen Spieler schlägt." erscheinen zum jetzigen Zeitpunkt etwas gewagt.

Opprobrium

2018-05-11, 10:21:30

Solche Aussagen wie "Wenn man ein paar Spezialisten drauf ansetzt könnten die bestimmt eine KI bauen die auch in Star Craft jeden menschlichen Spieler schlägt." erscheinen zum jetzigen Zeitpunkt etwas gewagt.
Ja, ich habe das etwas unterschätzt :cool: Dann werden also die zunehmend multikernigeren CPUs in den nächsten Jahren wohl keine allzugroßen Fortschritte bei RTS KI mit sich bringen.

Ich revidiere meine Aussage also zu:

"Wenn man ein paar größere, hochspezialisierte Forschungsteams drauf ansetzt und denen quasi unbegrentze Mittel zur Verfügung stellt könnten die bestimmt in diesem Jahrhundert noch eine KI bauen die auch in Star Craft ohne Fog of War mit menschlichen Spielern mithalten kann" :cool:

Vanilla

2018-05-11, 13:37:59

Es wird halt auch gerne unterschätzt, speziell wenn man sich die Parade-Disziplinen der PCs ansieht. Durch die verwendete Hardware, auf der die AI ausgeführt wird, hat man unglaubliche Reaktionsgeschwindigkeiten, krasse Präzision und übermenschliche Parallelisierung. Da hat der Mensch halt keine Chance.
Wenn dann Leute wie Elon Musk oder Steven Hawking (r.i.p.) vor der AI als Bedrohung (http://www.faz.net/aktuell/wirtschaft/kuenstliche-intelligenz-elon-musk-warnt-vor-killer-robotern-15161436.html) warnen, kann man regelrecht Angst bekommen.
Nimm es nicht persönlich, ich habe deinen Satz nur stellvertretend als Beispiel zitiert.

Opprobrium

2018-05-11, 14:06:08

Nimm es nicht persönlich, ich habe deinen Satz nur stellvertretend als Beispiel zitiert.
Pfft, so weit kommt es noch, daß ich freundliche und sachverständige hinweise in einem Internetforum persönlich nehme :ubeer:

Habe ja auch in meinem ersten Kommentar hier recht flapsig und allgemein geantwortet.

Und was die Bedrohung durch AI/KI angeht, so halte ich zur Zeit den Glauben an das neue Buzzwort AI für viel bedrohlicher als die AI selbst, die selbst für Dilettanten wie mich noch weit von echter - vor allem bewußter - Intelligenz entfernt ist. Läuft ja in den meisten Fällen nur auf etwas kompliziertere Varianten hiervon hinaus:

3nxjjztQKtY

Wobei man wieder beim Thema RTS wäre, wo ja das Balancing auch sehr oft auf einem Schere - Stein - Papier Prinzip basiert, wodurch auch erklärbar wird warum die KI bei reinem Einheit vs Einheit recht erfolgreich sein kann, beim einbeziehen aller Variablen dann aber überfordert ist/auf Cheats und Skripte angewiesen ist.

aths

2018-05-11, 17:31:46

Wenn man ein paar Spezialisten drauf ansetzt könnten die bestimmt eine KI bauen die auch in Star Craft jeden menschlichen Spieler schlägt.Seit einiger Zeit arbeiten Spezialisten daran und sind von diesem Ziel weit entfernt.

Hallo 3DC, in letzter Zeit liest mal viel über KI und Deep-Learning, so dass man den Eindruck bekommt, hier hat sich in letzter Zeit einiges getan. Als langjähriger RTS-Spieler bringt mich das zu der Frage ob AI in dieser Disziplin inzwischen besser als der Mensch ist.
Bei Schach ist die Hürde ja bereits vor Jahrzehnten gefallen, so dass selbst Weltmeister von Schach-Computern besiegt werden. Im Spiel StarCraft-2 kann man auch gegen AI Spielen, die kann aber schon von Durchschnitts-Spielern besiegt werden.
Auf hohen Schwierigkeitsgrad erhält der Computergegner sogar zusätzliche Ressourcen und cheatet somit; scheinbar war es den Programmierern nicht möglich mit fairen Mitteln den Schwierigkeitsgrad weiter zu erhöhen.
Da die APM von Computern natürlich viel höher ist als von Menschen, frage ich mich, was man machen müsste, um eine AI zu erschaffen die einen RTS-Champion wie Maru (SC2/Korea) besiegen kann.
Wird noch dauern. Die aktuellen Experimente in SC2-AI nutzen nicht einfach den Bildschirm, sondern bekommen von der API spezielle Ansichten eingespeist. Trotzdem bekommt es die AI nicht ordentlich hin, zu lernen, anfangs oft zur Basis zurückzugehen um neue Arbeiter zu bauen. Erst mal experimentieren die damit, dass die AI lernt, mit Einheiten bestimmte andere Einheiten abzuwehren.

Eine allgemeine Starcraft-2-fähige AI ist noch nicht in Sicht.

Trap

2018-05-11, 18:20:45

Eine allgemeine Starcraft-2-fähige AI ist noch nicht in Sicht.
Das wird sie in der Öffentlichkeit nie sein. Die Lösung ist so lange unbestimmt weit weg, bis sie gefunden wird und dann ist sie Realität und nicht nur in Sicht.

Tobalt

2018-05-11, 20:24:56

Für Menschen gilt bei dingen wie RTS:

"Easy to learn, hard to master"

für AI Programmierer sieht das meines erachtens schwieriger aus. Es ist schwer dem Computer überhaupt erstmal beizubringen, was er da sieht, und dass er eben nichts sieht, wenn die Kamera nicht am Ort des Geschehens ist. Warum bewegen sich manche Pixel und andere nicht? Was sind Einheiten und warum? Was sind Ressourcen ? Kurz gesagt, dem Computer die "Regeln" des RTS zu vermitteln ist deutlich schwerer als zB die Regeln von Go oder Chess.

Sobald der Computer erstmal spielen kann, wird es hingegen easy. Selbst mit einer sehr labbrigen Score-Function wie "Gewinne" wird es durch die übermächtige Geschwindigkeit und Paralllelität beim Self Play irgendwann sinnvolle Moves finden zB : Einheiten bauen, angreifen. Später Formationen, Scouting, Später taktiken und Strategien und schließlich auch solide Prediction und Deception skills.

Deutlich schneller wird der zweite Teil wenn man ein wenig supervised, also wenn man auch für zwischenziele Score vergibt wie zB: Die Kamera richtig bewegen, Einheiten auswählen, Befehle erteilen, Kills etc.

Poook

2018-05-11, 21:47:39

Hierbei ist auch die Frage wie "menschlich" die KI sein darf. Eine KI braucht nur einen Frame um alles auf dem Bildschirm zu sehen und vll einen zweiten um die Bewegungen zu erfassen. Bei 120hz sind 17ms. Wie lange braucht ein Mensch dafür. Gibt es ein Klicklimit pro Sekunde? Muss die Maus bewegt werden oder gibt sie direkt den Befehl klick auf Position 534x1432? Kann sie das Netzwerkkabel ziehen?

Monger

2018-05-11, 21:55:08

Es ist schwer dem Computer überhaupt erstmal beizubringen, was er da sieht, und dass er eben nichts sieht, wenn die Kamera nicht am Ort des Geschehens ist. Warum bewegen sich manche Pixel und andere nicht? Was sind Einheiten und warum? Was sind Ressourcen ? Kurz gesagt, dem Computer die "Regeln" des RTS zu vermitteln ist deutlich schwerer als zB die Regeln von Go oder Chess.

Das stimmt allerdings. Das "rauschen" im Datenwald ist halt riesig.
Gab ja aber bereits erfolgreiche Versuche mit Super Mario, wo ja auch die Gegend erkundet werden muss, und erst mühsam gelernt wird mit was interagiert werden kann und was nicht.

Damit gehen die KI Forscher aber natürlich auch den denkbar schwersten Weg. Für eine praktische Anwendung wäre es ja völlig okay die KI nur auf das interne Datenmodell loszulassen. Gibt ja keinen Grund weshalb man sie mit Texturen belästigen muss, außer eben um zu gucken ob sie trotzdem zurecht kommt.

Mortalvision

2018-05-11, 22:21:47

Das Problem sind nicht die Daten, sondern deren Auswertung, genauer: Bewertung und Gewichtung!

Was ist "gutes Spiel?" "Was muss ich als KI priorisieren, um zu gewinnen?"

Rooter

2018-05-12, 11:19:37

Läuft ja in den meisten Fällen nur auf etwas kompliziertere Varianten hiervon hinaus:

http://youtu.be/3nxjjztQKtYWie geil! :D
Aber das ist ja ansich nur ein wenig Mustererkennung per Kamera.

...
Kurz gesagt, dem Computer die "Regeln" des RTS zu vermitteln ist deutlich schwerer als zB die Regeln von Go oder Chess.

Sobald der Computer erstmal spielen kann, wird es hingegen easy. Selbst mit einer sehr labbrigen Score-Function wie "Gewinne" wird es durch die übermächtige Geschwindigkeit und Paralllelität beim Self Play irgendwann sinnvolle Moves finden zB : Einheiten bauen, angreifen. Später Formationen, Scouting, Später taktiken und Strategien und schließlich auch solide Prediction und Deception skills.Ich denke auch, dass die komplexen Regeln beizubringen das Hauptproblem ist und es, wenn diese der KI erst mal "klar sind", relativ schnell gehen wird. Ein paar zig Mio. Spiele gegen sich selbst und wir haben einen unschlagbaren Champion.

Das Problem sind nicht die Daten, sondern deren Auswertung, genauer: Bewertung und Gewichtung!

Was ist "gutes Spiel?" "Was muss ich als KI priorisieren, um zu gewinnen?"Ja, das nennt man dann lernen = Erfahrungen sammeln. Musste jeder Mensch der das Spiel spielt ja auch machen. ;) Nur die KI ist 1 Mio. mal schneller dabei.

MfG
Rooter

aths

2018-05-13, 16:34:16

Ich denke auch, dass die komplexen Regeln beizubringen das Hauptproblem ist und es, wenn diese der KI erst mal "klar sind", relativ schnell gehen wird. Ein paar zig Mio. Spiele gegen sich selbst und wir haben einen unschlagbaren Champion.
Eigentlich ist für SC2 geplant, der KI gerade nichts speziell beizubringen. (Im Moment wird es aber gemacht, um überhaupt weiter zu kommen.) Beim Schach versucht man unter anderem mit Eröffnungs- und Endspielbibliotheken den Computer schlau zu machen. Dürfte eine Frage der Zeit sein, wann eine allgemeingültige KI ohne diese vorgegebene Daten mindestens genauso gut ist.

Eine KI in einem viel komplexeren Spiel als Schach nur gegen sich selbst spielen zu lassen muss nicht unbedingt erfolgreich sein. Es ist nicht gesagt, dass die KI dabei alle sinnvollen Möglichkeiten entdeckt.

Ja, das nennt man dann lernen = Erfahrungen sammeln. Musste jeder Mensch der das Spiel spielt ja auch machen. ;) Nur die KI ist 1 Mio. mal schneller dabei.Noch ist es nicht so weit. Die aktuellen KI-Experimente können nicht mal die eingebaute SC2-KI auf Very Easy schlagen. Jeder Mensch lernt schneller. Noch.

Hierbei ist auch die Frage wie "menschlich" die KI sein darf. Eine KI braucht nur einen Frame um alles auf dem Bildschirm zu sehen und vll einen zweiten um die Bewegungen zu erfassen. Bei 120hz sind 17ms. Wie lange braucht ein Mensch dafür. Gibt es ein Klicklimit pro Sekunde? Muss die Maus bewegt werden oder gibt sie direkt den Befehl klick auf Position 534x1432? Kann sie das Netzwerkkabel ziehen?
APM-Begrenzungen sind im Gespräch, noch ist es aber nicht so weit dass das wichtig ist. Die KI ist so geplant dass sie mit den In- und Outputmöglichkeiten arbeitet, die ein Mensch hat, also nur den Bildschirm sieht und selbst scrollen muss.

Fallstrick: Die aktuelle KI kann scrollen, aber bekommt es nicht auf die Kette, regelmäßig zurück zur Hauptbasis zu springen um neue Arbeiter zu bauen.

Rooter

2018-05-13, 17:55:39

Beim Schach versucht man unter anderem mit Eröffnungs- und Endspielbibliotheken den Computer schlau zu machen. Dürfte eine Frage der Zeit sein, wann eine allgemeingültige KI ohne diese vorgegebene Daten mindestens genauso gut ist.Das gibt es doch schon, AlphaZero
Wobei das natürlich auch keine AGI ist.

MfG
Rooter

DocEW

2018-05-13, 23:36:15

Es gibt noch einen eher regelbasierten Ansatz für FreeCiv, an dem soweit ich weiß noch geforscht wird.

https://arago.co/ai/freeciv/

Wie es genau funktioniert kann ich dir nicht sagen, aber ich meine mal gelesen zu haben, dass die sich von einigen Experten deren Strategien haben erklären lassen und daraus dann kleine "Strategie-Häppchen" gebastelt haben, aus denen die KI dann eine Gesamtstrategie bastelt.

aths

2018-05-14, 14:32:12

Das gibt es doch schon, AlphaZero
Ups. Sind die schon so weit ...

Wie es genau funktioniert kann ich dir nicht sagen, aber ich meine mal gelesen zu haben, dass die sich von einigen Experten deren Strategien haben erklären lassen und daraus dann kleine "Strategie-Häppchen" gebastelt haben, aus denen die KI dann eine Gesamtstrategie bastelt.
Bei SC2 wurde in der Forschung – bislang nicht erfolgreich – versucht, dem Computer eben nichts mitzugeben außer "schau, dass du am Ende gewinnst". Die eingebaute KI ist ebenfalls geskriptet aus vorgefertigten Strategie-Teilen und ich finde diese KI verglichen mit älteren Echtzeitspielen gar nicht schlecht. Ist natürlich nix für Profis.

Bei der ersten SC2-Ausgabe (Wings of Liberty) fand ein Programm das Build-Orders optimieren kann, eine gute Möglichkeit, schnell mit sieben Roaches zu rushen. Diese Build-Order hatte einige Bestandteile, die gegen übliche Empfehlungen ist. Menschen hätten sowas wohl gar nicht erst ausprobiert. Insofern ist eine KI aus Versatzstücken vorgefertigter Strategie nicht allzu interessant.

Mortalvision

2018-05-14, 21:42:13

Jap, und wenn noch dazu kommen soll, nicht nur die Lage des Gegners zu analysieren, und sondern auch noch seine Optionen und Handlungsfähigkeit, ist der Ofen ganz aus...

Chronicle

2018-05-15, 15:08:07

Nicht ganz On-Topic aber auch nicht ganz OT. Vor ein paar Jahren haben doch ein paar Leute mal nen Micro-Bot für Starcraft 2 geschrieben. Ganz lustig zu anzusehen:

DXUOWXidcY0

dr_AllCOM3

2018-05-15, 16:01:52

aths

2018-05-15, 18:50:37

Wuerde ein Durchschnittspieler ueberhaupt gegen eine gute KI spielen wollen?
Spiele sollen am Ende Spass bringen. Es waere sicherlich mehr Frust als Spass. Stellt euch mal Dark Souls vor, wo man nicht mal Muster lernen kann.
Kein Entwickler bezahlt irre viel fuer etwas, das nicht mal positiv fuer Spiel ist (extreme Nischenprodukte mal aussen vor gelassen).
Wenn man die Muster bei SC2 gelernt hat, kann einen der Computer nur noch über die Mechanik natzen (schneller ziehen.) Eine allgemeine KI könnte gegen einen selbst trainiert werden, künstlich auf ein Mechaniklimit eingestellt werden das den eigenen Fähigkeiten entspricht, und versuchen, mit neuen Strategien zu gewinnen.

paul.muad.dib

2018-05-15, 20:47:29

Muss denn eine KI das Spiel wie ein Mensch wahrnehmen, d.h. visuelle und akkustische Signale interpretieren oder reicht es nicht, wenn sie über eine API alle Daten bekommt, die nicht durch fow oder ähnliches verdeckt sind? D.h. wäre es akzeptabel, wenn sie gleichzeitig Kämpfe an mehreren Stellen und die Situation an der eigenen Basis verfolgen und steuern kann?

Muss sie außerdem bei der Steuerung auf die Geschwindigkeit und Möglichkeiten eines Menschen beschränkt sein? Z.B. könnte ja jegliche Einheiten KI wie Wegfindung etc. abgeschaltet werden und durch die allgemeine KI gesteuert werden, so dass das eine in das andere übergreift.

Wenn das möglich ist, würde mich interessieren, ob eine Art Schwarmintelligenz, wo erstmal jede Einheit, jedes Gebäude für sich agiert und mit anderen Informationen austauscht, funktionieren könnte.

paul.muad.dib

2018-05-15, 20:50:45

Wuerde ein Durchschnittspieler ueberhaupt gegen eine gute KI spielen wollen?
Spiele sollen am Ende Spass bringen. Es waere sicherlich mehr Frust als Spass. Stellt euch mal Dark Souls vor, wo man nicht mal Muster lernen kann.
Kein Entwickler bezahlt irre viel fuer etwas, das nicht mal positiv fuer Spiel ist (extreme Nischenprodukte mal aussen vor gelassen).

Da ich fast nie Multiplayer spiele, hätte ich definitiv Spaß daran. Gerade auf diesem Feld hat sich recht wenig getan. Klar, ein paar Sachen wie Wegfindung funktionieren jetzt, aber in vielen Serien ist die KI eher schwächer geworden, vielleicht aber auch bewusst, um casual gamer nicht zu überfordern. Bspw. ist angeblich innerhalb der RW Reihe das erste Medieval der Titel mit der fordernsten KI. Allerdings cheatet sie auch und hat z.B. unbegrenzte Munition für Fernkämpfer.

Monger

2018-06-28, 21:28:39

Bei Dota 2 sind sie wohl doch schon weiter als gedacht:

https://www.gamestar.de/artikel/openai-bots-gewinnen-erstmals-5v5-partien-in-dota-2-gegen-semi-pro-team,3331594.html

Gimmick

2018-06-29, 08:06:31

Tobalt

2018-06-29, 13:07:24

bei dota wurde aber wohl neben dem bild tatsächlich auch die rohdaten zur Verfügung gestellt.

zwar beeindruckend, aber geht halt nicht in Richtung genereller intelligenz

Fusion_Power

2018-06-29, 13:33:22

Wenn es so viel Rechenpower braucht um bei nem Spiel wie Dota 2 ne vernünftige KI hinzubekommen, stehen sie Chancen ehr schlecht dass man sowas in absehbarer Zeit auch auf dem eigenen PC zum laufen bringt, oder? Vllt. über Server, interessant wärs schon endlich gescheite KI's in Spielen zu haben, die sogar Profis schlagen kann.

Monger

2018-06-30, 15:08:30

Wenn es so viel Rechenpower braucht um bei nem Spiel wie Dota 2 ne vernünftige KI hinzubekommen, stehen sie Chancen ehr schlecht dass man sowas in absehbarer Zeit auch auf dem eigenen PC zum laufen bringt, oder?
Kommt auf deinen Anspruch an. Gibt bereits Ansätze, KI Strategien quasi als Skripte zu backen. Wäre dann halt nicht annähernd so flexibel wie ne richtige KI. Aber um 80% der Spieler ins Schwitzen zu bringen sollte es reichen.

Könnte mir vorstellen, dass zukünftig große Spielestudios ihre KI Entwicklung komplett outsourcen. Besser als der regelbasierte Ansatz wie bisher wäre das bestimmt.

Trap

2018-06-30, 17:53:40

Wenn es so viel Rechenpower braucht um bei nem Spiel wie Dota 2 ne vernünftige KI hinzubekommen, stehen sie Chancen ehr schlecht dass man sowas in absehbarer Zeit auch auf dem eigenen PC zum laufen bringt, oder?
Wenn ich mich nicht verrechnet hab, braucht die KI von OpenAI etwa 1 CPU-Core pro Team für Echtzeit: https://www.wolframalpha.com/input/?i=(180+years+per+day)+%2F+128000

BlackBirdSR

2018-07-01, 20:27:41

Vanilla

2018-07-02, 15:48:41

Muss denn eine KI das Spiel wie ein Mensch wahrnehmen, d.h. visuelle und akkustische Signale interpretieren oder reicht es nicht, wenn sie über eine API alle Daten bekommt, die nicht durch fow oder ähnliches verdeckt sind? D.h. wäre es akzeptabel, wenn sie gleichzeitig Kämpfe an mehreren Stellen und die Situation an der eigenen Basis verfolgen und steuern kann?
Die Frage ist ja was man mit der AI erreichen will. Die Spiele dienen nur als Betätigungsfeld für die AI, um komplexe Szenarien zu bieten. Das Ziel der Entwickler ist aber sicher nicht Computerspiele zu verbessern. Da haben die Firmen wie Google wohl nur ein untergeordnetes Interesse dran.
Im besten Fall sollte die AI nur mit den visuellen und akustischen Daten auskommen, damit man die AI auch für Aufgaben in der "echten Welt" einsetzen kann. Ich denke viele (bezahlte) Tätigkeiten, die Menschen heutzutage ausführen, sind weniger Komplex als ein SC2-Match auf Pro-Gamer-Niveau. Wenn die AI erst mal dieses Niveau erreicht hat, kann man sie auch für andere Sachen in der realen Welt trainieren und somit Menschen ersetzen.

Tobalt

2018-07-04, 21:40:41

quake3 ctf:
https://t3n.de/news/google-ki-schlaegt-gamer-quake-1092975/amp/

stell ich mir bei einem fps aber auch weniger schwer vor: Sniper + bot = win

Monger

2018-08-06, 20:59:32

Wiedermal gewinnt ne KI gegen Profis in Dota2
https://www.gamestar.de/artikel/ki-besiegt-menschen-openai-bots-schlagen-erneut-profi-spieler-in-dota-2,3333135.html

Fusion_Power

2018-08-07, 02:21:03

Und hier verliert sie:

_QQYaVUODkE

OK, das Handycap war bei dem letzten Match halt, dass as Publikum die Helden für die AI bestimmen durfte, trotzdem noch beeindruckend.
Hab 0 Ahnung von DotA 2 aber so wie ich das mitbekommen hab, scheint die AI wirklich was aufm Kasten zu haben und sogar die menschlichen Spieler zu inpsirieren für neue/ungewöhnliche Taktiken.

Vanilla

2019-01-24, 21:48:01

Monger

2019-01-24, 22:49:00

Das ist schon krass. DeepMind hat innerhalb weniger Jahre Schach, Go, Poker und SC2 geknackt. Ich kann mich an Artikel erinnern, wo sie Go frühestens in 15 Jahren und Starcraft in frühestens 30 Jahren prognostiziert haben. Was immer DeepMind macht, wirkt wie aus der Zeitmaschine.

Gast

2019-01-24, 23:50:23

Die APMs wurden künstlich begrenzt wurde, also kein "brutforce-win". SC2 gilt als sehr komplex, ich bin somit sehr gespannt was diese AI noch alles erlernen kann.

Naja, da stehen teilweise über 950 APMs bei den Kämpfen, das ist schon verdammt viel, gerade wenn es um das Micro Management geht. Und damit wurden die meisten Spiele entschieden.

Auch die map awareness der AI ist auf einem ganz anderen Niveau, dadurch das die AI die komplette Karte herausgezoomt sieht, kann sie deutlich schneller auf alles reagieren. Keine Einheit kann sich da irgendwo vorbeischleichen.

Psychopat

2019-01-25, 01:27:17

Also ob SC2 wirklich geknackt ist darüber darf diskutiert werden. DeepMind hat hauptsächlich durch Micro gewonnen, die ein menschlicher Spieler so nicht durchführen könnte. Das Problem ist das man der AI sehr schwierig gleiche Bedingungen wie dem Menschen stellen kann. Idealerweise müsste man einen Roboter vor einen PC setzten, der eine Maus bewegen und auf einen Bildschirm schauen muss.
Das live Showmatch war dann ja auch gegen eine Version die weiterentwickelt wurde um diesen Makel anzugehen. Und in dem Spiel hat man dann auch mal offensichtliche Fehlentscheidungen der AI gesehen.

Ich würde behaupten wenn man den Spielern Zeit zum Üben gegen DeepMind gibt sie am Ende nicht mehr verlieren, weil sie die Schwächen herausgefunden haben die sehr wohl noch existieren.

Rooter

2019-01-25, 01:42:26

Ich würde behaupten wenn man den Spielern Zeit zum Üben gegen DeepMind gibt sie am Ende nicht mehr verlieren, weil sie die Schwächen herausgefunden haben die sehr wohl noch existieren.Und warum sollte die AI nicht ruck-zuck lernen wie sie Ihr Schwächen beseitigen oder umgehen kann?

MfG
Rooter

x-force

2019-01-25, 04:50:32

Und warum sollte die AI nicht ruck-zuck lernen wie sie Ihr Schwächen beseitigen oder umgehen kann?

MfG
Rooter

das denke ich auch, mit zunehmenden iterationen sollte sich das netz immer besser anpassen.

weiß jemand ob die ai vorher nur gegen sich selbst gelernt hat?

Monger

2019-01-25, 06:32:26

Ich würde behaupten wenn man den Spielern Zeit zum Üben gegen DeepMind gibt sie am Ende nicht mehr verlieren, weil sie die Schwächen herausgefunden haben die sehr wohl noch existieren.
Ist das irgendwann schonmal passiert? Hat der Mensch in irgendeinem Feld schonmal ne KI wieder eingeholt?

Tobalt

2019-01-25, 07:48:47

Vanilla

2019-01-25, 08:46:32

das denke ich auch, mit zunehmenden iterationen sollte sich das netz immer besser anpassen.

weiß jemand ob die ai vorher nur gegen sich selbst gelernt hat?
Sie hat wohl auch viele Replays von Menschen analysiert. In der Übertragung gestern wurde gesagt, dass die AI ungefähr 200 Jahre Spielzeit investiert hat um auf diesen Stand zu kommen.
Mich würde ja mal interessieren, ob AlphaStar während dieser Spiele auf normaler Hardware lief oder ob da eine besondere Hardware nötig ist.
Könnte ich also Alphastar auf meinem PC laufen lassen und dann Grandmaster in der Ladder werden? ;D

Ferenzo

2019-01-25, 10:38:04

absolut krass, das ging wirklich deutlich schneller, als man das noch vor jahren gedacht hat, Hut ab vor dem Alphastar Team! Das muss man echt mal anerkennen.

Übrigens wäre meine Definition einer wirklich guten AI:
Wenn Menschen von einer Maschine lernen können, anstatt die Maschine nur den Menschen kopiert, dann ergibt künstliche Intelligenz erst Sinn.

Rooter

2019-01-25, 10:42:53

bei simplen games wie Schach oder Go gibt es aber nichtmal solche wegeBeim Schach kann man doch auf Remis spielen.

Mich würde ja mal interessieren, ob AlphaStar während dieser Spiele auf normaler Hardware lief oder ob da eine besondere Hardware nötig ist.
Könnte ich also Alphastar auf meinem PC laufen lassen und dann Grandmaster in der Ladder werden? ;DDa werden sicher zumindest ein paar TPUs verbaut gewesen sein.

MfG
Rooter

Monger

2019-01-25, 12:56:37

Ich hab mir jetzt mal ein paar Partien angeschaut...
Sehr interessant zu sehen. AlphaStar macht teilweise absurde Fehler, verliert manchmal die halbe Armee, aber kommt dann mit wirklich abgefahrenen Manövern zurück ins Spiel. Macht wirklich Spaß dabei zuzusehen.
War teilweise wirklich knapp. Da ist also noch Luft drin.

Aber man kann als menschlicher Spieler bereits einiges daraus lernen. Gibt offenbar Einheitenkombinationen die erfolgsversprechend sind, die kaum einer kennt. Die Kommentatoren waren ja auch sehr überrascht, dass Sammler spammen so hilfreich sein kann.

Ist auf jeden Fall meilenweit von den geskripteten, cheatenden KIs typischer Spiele entfernt. Frisst natürlich auch unfassbare Mengen an Rechenzeit.

Psychopat

2019-01-25, 15:33:04

Ich denke wenn man sehr gute spieler hernimmt, die mit einer völlig absurden Taktik spielen könnte das vielleicht gewinnen, aber nicht permanent sondern nur bis die AI auch diese absurden Fälle mit abdeckt.

Es ist eher umgekehrt. Die AI hat mehrere Partien gewonnen, weil sie absurde Taktiken gespielt hat die für einen Menschen total untypisch sind und damit den menschlichen Spieler überraschte. Lässt man den Spieler öfter gegen die KI spielen, kann er sich darauf einstellen und das wird nicht mehr funktionieren.

Ist das irgendwann schonmal passiert? Hat der Mensch in irgendeinem Feld schonmal ne KI wieder eingeholt?

Starcraft ist nicht wie Schach oder Go. In Starcraft ist es recht üblich das es Zeit braucht Konter für bestimmte Strategien zu entwickeln. In der Regel passiert das aber immer, es gibt keine Strategie die unschlagbar ist. DeepMind spielt anders als ein Mensch, da ist es zu erwarten das Spieler besser gegen ihn werden je mehr Erfahrung sie mit seiner Spielweise haben.
Zu dem Thema haben ja auch die Entwickler selber was gesagt. Sie haben die Agenten gegeneinander spielen lassen, aber es hat sich keiner herausentwickelt der alle anderen geschlagen hat. Jeder Agent hatte Gegner gegen die er stark war und Gegner gegen die er schwach war.

Mich würde ja mal interessieren, ob AlphaStar während dieser Spiele auf normaler Hardware lief oder ob da eine besondere Hardware nötig ist.
Könnte ich also Alphastar auf meinem PC laufen lassen und dann Grandmaster in der Ladder werden?

Wurde im Video gesagt. Zum trainieren haben sie Tensorcores in der Cloud genommen, als Vergleichswert haben sie ~50 GPUs angegeben. Die KI die gespielt hat lief aber auf nem "Dektop mit ordentlicher GPU". Laut Entwicklern sollte es also möglich sein, das bei Dir zu Hause laufen zu lassen. Einzige Einschränkung ist, sie verwenden eine spezielle Version von Starcraft die extra Schnittstellen für die KI hat.

Ich würde aber vermuten, dass das Team schon längst darüber nachgedacht hat DeepMind auch mal laddern zu lassen. Es würde mich auch nicht wundern wenn die KI ins offizielle Starcraft integriert wird, so das jeder gegen sie spielen kann.

Was gerade noch alle vergessen: Bisher kann DeepMind nur Protoss vs Protoss Spielen. Es gibt aber noch zwei andere Rassen in Starcraft, also sechs verschiedene Matchups.

wolik

2019-01-25, 15:55:11

cUTMhmVh1qs

Monger

2019-01-25, 19:49:22

Starcraft ist nicht wie Schach oder Go.
Ich meinte das ganz allgemein: Kennst du irgendein Feld der Informatik, wo der Computer mal vorne war, und der Mensch wieder auf- und überholt hat? Bilderkennung? Medizinische Diagnostik? Chemie? Finanzwissenschaften? Wettervorhersage? Logistik?

Monger

2019-01-25, 20:02:45

In Starcraft ist es recht üblich das es Zeit braucht Konter für bestimmte Strategien zu entwickeln. In der Regel passiert das aber immer, es gibt keine Strategie die unschlagbar ist.
Die DeepMind KI spielt ja aber auch keine einzelne Strategie, sondern wählt die passende Strategie zur richtigen Situation. Man sieht das in den Aufzeichnungen recht deutlich: Die KI spielt erst aggressiv, kriegt auf die Nase, und wird dann viel defensiver.

Im Endeffekt wirst du wie bei allen verdeckten Spielen immer Spiele verlieren, aber nicht langfristig. Selbst der beste Pokerspieler der Welt verliert mit einem schlechten Blatt, aber nicht so hoch wie ein Anfänger.

Psychopat

2019-01-25, 20:16:09

Ich meinte das ganz allgemein: Kennst du irgendein Feld der Informatik, wo der Computer mal vorne war, und der Mensch wieder auf- und überholt hat? Bilderkennung? Medizinische Diagnostik? Chemie? Finanzwissenschaften? Wettervorhersage? Logistik?

Mein Wissen zu Starcraft übersteigt mein Wissen zu Maschine Learning bei weitem. Ich kann nur Fragen was Starcraft betrifft vernünftig beantworten :redface:

Die DeepMind KI spielt ja aber auch keine einzelne Strategie, sondern wählt die passende Strategie zur richtigen Situation. Man sieht das in den Aufzeichnungen recht deutlich: Die KI spielt erst aggressiv, kriegt auf die Nase, und wird dann viel defensiver.

Im Endeffekt wirst du wie bei allen verdeckten Spielen immer Spiele verlieren, aber nicht langfristig. Selbst der beste Pokerspieler der Welt verliert mit einem schlechten Blatt, aber nicht so hoch wie ein Anfänger.

Ob sich die KI auch langfristig gegen die besten menschlichen Spieler durchsetzten kann ist meiner Meinung nach noch offen. Die KI ist ziemlich stark, keine frage. Aber die Überlegenheit über den Menschen wie in Schach oder Go sehe ich noch nicht.
Meine Meinung zu dem was ich bisher gesehen habe ist das die KI hauptsächlich durch perfekte Mechanik gewonnen hat und nicht durch strategisches ausmanövrieren des Gegners.

Gibt übrigens ein reddit AmA:
https://www.reddit.com/r/MachineLearning/comments/ajgzoc/we_are_oriol_vinyals_and_david_silver_from/

Monger

2019-01-25, 22:03:39

Meine Meinung zu dem was ich bisher gesehen habe ist das die KI hauptsächlich durch perfekte Mechanik gewonnen hat und nicht durch strategisches ausmanövrieren des Gegners.

Warum sollte sie auch, wenn Micromanagement so viel effektiver ist? Damit bestätigt AlphaStar ja nur wieder die Binsenweisheit, dass jedes RTS letztendlich ein Kampf gegen die Steuerung ist ;-)

Spaß beiseite, schaun mer mal. Was sich schonmal nicht bestätigt hat, ist dass Matches gegen KIs langweilig sind.

Trap

2019-01-25, 22:20:24

Meine Meinung zu dem was ich bisher gesehen habe ist das die KI hauptsächlich durch perfekte Mechanik gewonnen hat und nicht durch strategisches ausmanövrieren des Gegners.
Kurze Zeitskalen sind einfacher zu trainieren und sind in Starcraft wichtig genug, dass man damit gewinnen kann ohne eine außergewöhnlich gute Stategie zu haben.

Evtl. muss man das APM-Limit auch weiter senken, die Zahl ist zwar für Menschen erreichbar, aber nicht gleichzeitig die Präzision und Effizienz.

Monger

2019-01-25, 22:39:12

Mal so wild dahin gesponnen: Der nächste interessante Schritt für ne KI könnte mMn Teamplay sein. Also irgendein 2vs2 Spiel. Da müsste sich ja eine Form von Kommunikation entwickeln.

aufkrawall

2019-01-25, 22:39:40

Interessant wäre NN-AI in absoluten Chaos-Situationen in Heroes of the Storm, die überfordern mein Gehirn jedenfalls regelmäßig :freak: :
CZNRrO5WPk8
Durch jeden neuen Helden exponenziert sich halt wieder die Anzahl der absurd möglichsten Situationen.

Fusion_Power

2019-01-26, 00:51:04

Ferenzo

2019-01-26, 10:58:46

@Fusion_Power: Das hat schon gepasst mit dem Aufgeben, du kannst in Starcraft wenn genug Erfahrung vorhanden ziemlich genau wisssen, ob du da noch zurückkommen kannst. Das Problem ist, dass solche Profis so gut wie nie Ressourcen anhäufen und damit ihre verlorene Army gar nicht ohne weiteres wieder auf eine schlagfertige Größe bekommen. Außerdem benötigt soetwas auch noch Zeit, sprich der Gegner wird dich vorher immer wieder dezimieren.

Platos

2019-01-26, 15:27:22

Also bei Ashes of the Singularity auf dem schwierigsten Bot-Schwierigkeitsgrad ist es, ohne ständig auf Pause zu Klicken, m.M.n selbst 1vs1 praktisch unmöglich.

Aber keine Ahnung, ob die "cheaten". Ich kann es mir gut vorstellen. Denn selbst wenn man jegliche Aktionen immer (!) auf Pause ausführt, ist der Bot trotzdem immer schneller (kannst machen, was du willst irgendwie.)

Aber warum sollte man überhaupt sowas brauchen? Man kann einfach das Verhalten der Spieler in den Spielen analysieren und dass dann in Spielen einbringen. Macht man doch schon bei Forza, oder nicht ?

danarcho

2019-01-27, 12:56:07

Nun, das ging schneller als gedacht. Die Übertragung auf Twitch ist grade vorbei und die Deepmind-AI "Alphastar" hat 10-1 gegen zwei top-Gamer in SC2 gewonnen (TLO und MANA).
https://www.pcgamesn.com/starcraft-2/starcraft-2-deepmind-ai
Ich hab mir die Spiele angesehen und man konnte deutlich erkennen, dass dort eine AI am Werk ist. Die Spiele waren nicht "meta" aber am Ende hat die AI irgendwie doch gewonnen. Die APMs wurden künstlich begrenzt wurde, also kein "brutforce-win". SC2 gilt als sehr komplex, ich bin somit sehr gespannt was diese AI noch alles erlernen kann.
Vielen Dank, darauf hatte ich gewartet seit es vor 2 Jahren angekündigt wurde.
Und das Ergebnis ist in etwa so, wie ich es erwartet habe, aber lasst mich ein paar Sachen anmerken:
- die Spieler wissen sehr, sehr genau, ab wann sie keine Chance mehr haben. Alle GGs waren absolut eindeutig verlorene Spiele. (Nur die AI weiß es anscheinend nicht so genau :P )
- die ersten 10:0 Spiele zählen für mich nur halb. Der Grund ist, dass die AI nur eine implizite Kamera benutzt, und das komplette Spielfeld gleichzeitig überblickt. Das sieht man insbesondere am völlig kranken Stalker-Micro gegen Mana. Auch die 20-Disruptor Strategie würde mit menschlichen Fähigkeiten nicht funktionieren. Es reicht halt meiner Meinung nach nicht aus, die APM einzuschränken, da Menschen zwar auch mit bis zu 1000APM die Tasten drücken können, aber nicht mehr mit der nötigen Präzision. Auch habe ich das Gefühl, dass Menschen eine hohe APM bei eigentlich "unnötigen" Dingen haben, wie zB ein paar Worker queuen, damit exakt der Moment getroffen wird, an dem man die Ressourcen hat, aber die AI hat wahrscheinlich ihre höchste APM in Fights. Die AI "weiß" sowieso, wann Ressourcen verfügbar sind, und braucht vorher nicht zu drücken. Dort sind dann die APM logischerweise viel niedriger.
- Der interessanteste Part ist eigentlich das letzte Spiel: Man sieht a) dass Mana tatsächlich schon etwas von der AI gelernt hat (das oversaturating), und b) dass sich die AI mit aktiver Kamera deutlich menschlicher verhält.
Ich bin jedenfalls sehr gespannt auf die weitere Entwicklung! Vor allem werden die anderen Rassen nochmals interessant. Ich fänds gut, wenn die APM insgesamt auf 300 beschränkt wird, damit die AI in den Kämpfen nicht durchdrehen kann. Spannend wäre auch, ob man die AI nach unten skalieren, und somit "leichtere, aber menschlichere Bots" erstellen kann. Und dann ist für mich immer noch die Frage offen, ob die AI so austrainiert werden kann, dass sie zuverlässig zB den aktuellen WCS Champion schlagen kann.

Oid

2019-01-30, 18:30:26

Ich fand es etwas schade, dass die KI als Ausgungspunkt lediglich menschliche Spielweisen imitiert hat. Beim Schach war es ja so, dass die KI nur die Regeln kannte und den Rest "selbst" herausfinden musste.

Das wäre sehr interessant gewesen auf welche "Ideen" eine KI bei StarCraft gekommen wäre. So war es am Ende doch nur verfeinertes menschliches Spiel mit ein paar interessanten Details (z.B. Worker Over-Saturation und ungewöhnliche Unit Compositions).

Aber einer KI ein RTS-Game vorzusetzen und einfach mal machen lassen, ist vielleicht noch nicht machbar.