Przejdź do treści

Praktyczne zastosowania

Dark Hex i self-play: jak gry uczą się strategii

Zaktualizowano: Autor: Andrzej Niemiec6 min czytania

Dark Hex to gra z niepełną informacją idealna do testowania self-play. Poznaj, jak agenci uczą się strategii i jakie GPU potrzebują.

Dark Hex i self-play: jak gry uczą się strategii
Spis treści
  1. Czym jest Dark Hex i dlaczego gry planszowe są idealne do self-play
  2. Jak self-play uczy agentów strategii
  3. GPU do treningu: co jest dostępne i za ile
  4. Jak uruchomić eksperyment: krok po kroku
  5. Kiedy T4 GPU wystarczy, a kiedy szukać alternatyw
  6. Najczęstsze błędy początkujących
  7. Następne kroki
  8. Najczęstsze pytania
  9. Źródła

Czym jest Dark Hex i dlaczego gry planszowe są idealne do self-play

Dark Hex to dwuosobowa gra o niepełnej informacji, w której gracze nie widzą początkowo kamieni przeciwnika i mogą je odkryć dopiero przy próbie zajęcia zajętego pola [1]. W klasycznym Hex plansza i wszystkie ruchy są jawne; w Dark Hex każdy gracz ma ograniczony obraz stanu gry, dlatego problem jest znacznie trudniejszy obliczeniowo [1].

Gry planszowe są idealne do self-play z trzech powodów: ograniczone środowisko (plansza ma stałe wymiary, co ułatwia modelowanie), łatwa weryfikacja wyników (wygrana lub przegrana jest jednoznaczna) i niska bariera wejścia (wystarczy Python i biblioteki takie jak PyTorch). Inne gry, które sprawdzają się w self-play, to Go, szachy i poker — każda wymaga innego poziomu zasobów i eksperymentowania.

Jak self-play uczy agentów strategii

Self-play to proces, w którym agent gra przeciwko sobie samemu, a każda gra dostarcza danych treningowych. Agent uczy się nie tylko wygrywać, ale także adaptować się do różnych stylów gry — bo jego przeciwnik to on sam, ale w poprzedniej iteracji [1]. W Dark Hex agent musi nauczyć się:

  • przewidywać ruchy przeciwnika na podstawie niepełnej informacji,
  • zarządzać ryzykiem (czy zajmować pole, które może być już zajęte?),
  • budować długoterminową strategię, a nie tylko reagować na bieżące ruchy.

Badania nad Dark Hex pokazały, że Neural Fictitious Self-Play i Monte Carlo CFR to efektywne podejścia do tego problemu [1]. Jednak bez konkretnych parametrów eksperymentu — liczby iteracji, architektury sieci, czasu treningu — trudno ocenić, ile zasobów faktycznie potrzeba.

GPU do treningu: co jest dostępne i za ile

Google Colab oferuje bezpłatny dostęp do GPU, ale zasoby nie są gwarantowane ani nielimitowane [2]. Dostępne typy GPU zmieniają się w czasie; darmowy runtime może działać maksymalnie 12 godzin, zależnie od dostępności i sposobu użycia [2]. Sesja może zakończyć się wcześniej, a maszyna wirtualna jest usuwana po bezczynności.

OpcjaKosztLimityKiedy wybrać
Darmowy Colab0 PLNdo 12 h, GPU nie gwarantowane, współdzielona kolejkaPrototypowanie, małe eksperymenty
Colab Pro+~47 PLN/mies.do 24 h, lepszy dostęp do GPU, opcja A100Regularne eksperymenty, dłuższe treningi
Google Cloud (T4)~1,40 PLN/hdowolny czas, gwarantowana dostępnośćProdukcja, duże projekty

Google wyraźnie zastrzega, że podłączenie runtime'u GPU nie oznacza automatycznie jego wykorzystania; kod musi faktycznie używać GPU, aby przyspieszyć trening [2].

Jak uruchomić eksperyment: krok po kroku

Aby testować self-play na Dark Hex, zacznij od przygotowania środowiska w Colab:

  1. Włącz GPU: Runtime → Change runtime type → GPU.
  2. Sprawdź, czy GPU jest dostępne: uruchom !nvidia-smi. Jeśli widzisz kartę graficzną, możesz kontynuować.
  3. Zainstaluj biblioteki: !pip install torch torchvision gym numpy matplotlib.
  4. Ustaw parametry treningu: liczba iteracji (zacznij od 500), rozmiar sieci neuronowej (dla Dark Hex wystarczy sieć z 3 warstwami ukrytymi po 128 neuronów), współczynnik uczenia (0.001 sprawdza się w większości przypadków).
  5. Monitoruj postępy: użyj matplotlib do wizualizacji procentu wygranych gier, czasu treningu na iterację i zużycia pamięci GPU.
  6. Zapisuj checkpointy: przechowuj je poza lokalnym dyskiem runtime'u, np. w Google Drive, aby uniknąć utraty danych po zakończeniu sesji.

Bez publicznego notebooka, commitów, konfiguracji, liczby partii, czasu treningu, throughputu i datowanych logów trudno jest zweryfikować rzeczywiste wyniki eksperymentu.

Kiedy T4 GPU wystarczy, a kiedy szukać alternatyw

T4 sprawdza się w grach planszowych, prostych symulacjach środowiskowych i eksperymentach z małymi sieciami neuronowymi (do 5 mln parametrów). Nie warto na nim trenować agentów do gier 3D (np. StarCraft), dużych modeli językowych ani zadań wymagających więcej niż 12 godzin ciągłego treningu.

Jeśli planujesz regularne eksperymenty, Colab Pro+ jest opłacalny. Dla jednorazowych testów wystarczy darmowa wersja. Jeśli potrzebujesz trenować agentów przez tygodnie lub wdrażać je w produkcie, rozważ Google Cloud lub lokalne serwery.

Najczęstsze błędy początkujących

  1. Za mało iteracji: 500 iteracji to za mało, aby zobaczyć znaczące postępy. Minimum to 1500.
  2. Zła architektura sieci: zbyt mała sieć nie nauczy się strategii, zbyt duża spowolni trening.
  3. Brak monitorowania: bez wizualizacji wyników trudno ocenić, czy trening idzie w dobrym kierunku.
  4. Nieużywanie GPU: kod może działać na CPU zamiast GPU, co drastycznie spowalnia trening.
  5. Brak checkpointów: sesja Colab może się zakończyć; bez zapisanych modeli stracisz postęp.

Następne kroki

  1. Uruchom prosty eksperyment na Dark Hex z 500 iteracjami, aby sprawdzić, czy wszystko działa.
  2. Zmodyfikuj grę: spróbuj dostosować kod do innej gry, np. Go lub szachów.
  3. Jeśli potrzebujesz więcej mocy, rozważ Colab Pro+ lub Google Cloud.
  4. Publikuj wyniki: udostępnij notebook, konfigurację i logi, aby inni mogli zweryfikować Twoje wyniki.

Self-play to potężne narzędzie, ale wymaga cierpliwości i eksperymentowania. Zasoby darmowe dają możliwość testowania pomysłów bez ryzyka finansowego — wykorzystaj to, ale pamiętaj, że bez publicznych danych i logów trudno jest ocenić rzeczywistą wydajność eksperymentu.

Najczęstsze pytania

Czy mogę trenować agenta na Dark Hex całkowicie za darmo?

Tak, Google Colab oferuje bezpłatny dostęp do GPU, ale zasoby nie są gwarantowane. Sesja może trwać do 12 godzin, ale może zostać przerwana wcześniej. Dla małych eksperymentów (500–1500 iteracji) darmowy plan wystarczy [2].

Ile czasu zajmuje trening 1800 iteracji na T4?

Czas zależy od wielu czynników: architektury sieci, rozmiaru planszy, liczby partii i implementacji. Bez konkretnych parametrów i logów trudno podać dokładny czas. Warto testować na mniejszych liczbach iteracji, aby oszacować czas dla pełnego eksperymentu.

Czy Dark Hex jest lepszy od szachów do self-play?

Dark Hex ma niepełną informację, co czyni go trudniejszym obliczeniowo niż szachy. Szachy są łatwiejsze do implementacji, ale mniej wymagające dla algorytmów. Wybór zależy od celu eksperymentu: jeśli chcesz testować decyzje w warunkach niepewności, Dark Hex jest lepszy [1].

Czy mogę użyć GPU z Colab do produkcji?

Nie. Colab jest przeznaczony do eksperymentów i prototypowania. Do produkcji potrzebujesz gwarantowanego dostępu do zasobów, co oferuje Google Cloud lub inne usługi chmurowe [2].

Jakie są alternatywy dla Dark Hex?

Go, szachy, poker i inne gry planszowe. Każda ma inne wymagania obliczeniowe i poziom złożoności. Dla początkujących szachy są łatwiejsze, ale Dark Hex lepiej modeluje rzeczywiste problemy z niepełną informacją [1].

Źródła

  1. Dark Hex: A Large Scale Imperfect Information Game (Mustafa Bedir Tapkan)
  2. Frequently asked questions (Google Colab)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji