Dominion Forum

Jein. KI ist weiter Begriff. Selbst wenn sie wirklich gegen sich selbst mit gleicher Einstellung spielt, kann schon Spielerreihenfolge Entscheidungen beeinflussen. Mischglück allgemein und speziell unterschiedliche Starthand sollten jedenfalls passende Reaktionen hervorrufen, mindern oder verstärken.

Yola hat geschrieben: ↑So 6. Jun 2021, 14:32 Wenn die KI nur gegen sich selber spielt kann sie effektiv doch nix lernen?

Das ist zu „menschlich“ gedacht. Die Sache erschöpfend zu erklären würde hier zu weit führen, aber man muss es sich so vorstellen....

Wenn man es nicht nur auf Spiele beschränkt, gibt es grob drei relevante Lernstrategien. Überwachtes Lernen (supervised learning), nicht überwachtes Lernen (unsupervised learning) und belohnendes, oder verstärkendes Lernen (reinforcement learning). Meiner Meinung nach sind die deutschen Übersetzungen sehr holprig, weshalb wir in der Branche eigentlich auch nur die englischsprachigen Begriffe verwenden. Supervised learning verwendet labels, also Markierungen bzw Hinweise von Menschen oder anderen künstlichen neuronalen Netzen auf die Zielgrössen. Beispiel, man hat 10.000 auf Papier handgeschriebene Zahlen von 1 bis 9, wobei ein Mensch jeweils festgelegt, ob es sich um eine 123-9 handelt. Diese Hand geschriebenen Zahlen werden digitalisiert und mit den Labels, also den richtigen Zuordnungen, in ein Netz gespeist. Das auf diese Weise etwa über back propagation trainierte Netz kann anschließend handgeschriebene Zahlen erkennen.

Unsupervised bedeutet grob gesagt, dass das neuronale Netz ohne Labels, also ohne jegliches Vorwissen, Informationen, also zum Beispiel den Inhalt von Bildern, Klassen zu ordnen kann. Das neuronale Netz kann anschließend etwa Hunde, Katzen und andere Tiere auf Bildern „erkennen“ bzw. den richtigen Gruppen zu ordnen. Da hier keine Labels vorhanden sind, muss das neuronale Netz die Informationen aus den Bild-Features, also aus dem Bildelementen, selbst extrahieren. Man spricht daher auch vom Schritt der Feature Extraction. Das neuronale Netz weiß nachher natürlich immer noch nicht, was ein „Hund“ wirklich ist, aber es werden in der entsprechenden Klasse dennoch nur Hundebilder liegen, weil das Netz die über alle Hunde Bilder parallelen Strukturen gelernt und dieses Wissen auf neue zu prüfende Bilder angewandt hat.

Die dritte Spiele relevante Strategie ist das reinforcement learning. Dieses wurde etwa bei Alpha Chess oder Alpha Go sehr erfolgreich angewandt. Alpha Go war überhaupt der erste elektronische Weltmeister im Go.

Hierbei werden vom Rechner Schritte gesetzt, also etwa im Schach Züge ausgeführt, die zu bestimmten Stellungen führen, oder bei Dominion bestimmte Karten gekauft beziehungsweise entsorgt beziehungsweise ausgespielt und so weiter, wobei das Ergebnis bewertet wird. Führt eine Folge von Schritten zu einem positiven Ergebnis, so werden diese Schritte höher bewertet, also belohnt. Zu keinem positiven Ergebnis respektive zu einer Niederlage führende Schritte werden im Gegenzug bestraft also mit einem negativen Bias belegt. Nach sehr sehr vielen Partien kristallisieren sich auf diese Weise günstige Strategien und weniger günstige heraus. Mit diesem erlernten Wissen spielt dann die KI.

Das ist in groben Zügen das Vorgehen. Natürlich gehen mit dieser Strategie einige Methoden einher, die das Lernverhalten begünstigen.

Danke für die Einordnung, pixfan, da kann man sich als Laie wenigstens ein bisschen was drunter vorstellen.
Bei dem, was Du zu reinforced learning sagst, fühlte ich mich an ein Video erinnert, das ich vor einer Weile mal gesehen hatte: Deep Learing Cars. Ist das eine passende Visualisierung zu diesem Konzept? Dort kann man quasi zusehen, wie die KI verschiedene Handlungsoptionen ausprobiert und daraus "lernt", indem die erfolglosen Optionen quasi darwinistisch ausradiert werden. Man kann beobachten, wie die KI in diesen Trainingsrunden immer wieder leicht von dem bisherigen Verhalten abweicht, um zu schauen, ob nicht auch andere Wege möglich sind. Vielleicht ist es nicht ganz so komplex, weil es in diesem Beispiel einen klaren Failstate gibt (Crash oder kein Crash), während man für Spielstrategien eine differenziertere Bewertung braucht.

Ja, das ist in der Tat ein anschauliches Beispiel. Ich habe in das Video nur kurz reingeblickt, aber das wäre eine Anwendung für Reinforcement Learning.

Ähnlich läuft das bei Spielen ab. Es werden Schritte gesetzt und geguckt, zu welchem Ergebnis sie führen. Die Schritte selbst dürfen dabei übrigens nicht einer einfachen Vorschrift folgen, sonst würde das Netz genau diese Vorschrift lernen.

Die Sache ist nicht trivial, denn bei Dominion, so nehme ich an, kann man nicht bloß das Endergebnis bewerten. Das würde ungeheuer viele Lernpartien erfordern. Andererseits darf nicht zu früh bewertet werden, da sich in Dominion Spielzüge, die zunächst als nicht zielführend erscheinen (etwa der Verzicht auf frühen Kauf von grünen Karten), später als sehr günstig erweisen.

Die Umsetzung einer Dominion „KI“, die mit allen verfügbaren Karten auf absolutem Spitzenlevel spielt, halte ich für eine sehr große Aufgabe.

Gibts es aus der Ecke etwas Neues?

Wann wird diese App in den App-Stores zu haben sein?

Im Google Play Store ist sie als Early Access online.

Das gleiche gilt für Steam.

Okay, danke für die Info. Ich warte auf iOS

Ich kann diese APP nicht finden. Gibt es sie schon, oder noch, oder ist dieses Projekt gestoppt worden?

Hat jemand Informationen dazu?

Grüße
Pixfan

Die App ist momentan im Early Access. Hierfür gibt es auf Apple Testflight anscheinend eine harte Grenze von 10000 Usern, mehr können die Beta nicht benutzen. Du müsstest also bis zum vollständigen Release warten.