[MarianJanusz]

Napisałem sobie parsera do historii rozdań z GGPoker i wytrenowałem na zbiorze 20k rąk z Rush&Cash model AI do przewidywania EV graczy po każdym zagraniu. Model składa się z sześciu kolejno ułożonych TransformersEncoders plus liniowa na wejściu i wyjściu. Czyli model dostaje na wejściu sekwencję zakodowanych wydarzeń na stole - zagrań graczy i wykładanych kart, a zwraca przewidywaną zmianę EV dla każdego z 6 graczy.
W tabelce przykład aplikacji modelu do przykładowego rozdania. Pierwsza kolumna to krok w sekwencji, kolejne kolumny od position do cards to dane wejściowe do modelu w każdym kroku, a kolumny po prawej stronie to przewidywane skumulowane EV na tym etapie rozdania dla każdego z graczy.
Co z niej wynika? Przede wszystkim model wydaje się dość sensownie reagować na zdarzenia na stole. Gdy EP otwiera, skokowo rośnie jego EV. Tak samo, gdy cbetuje na flopie. Ale gdy odpuszcza na turnie, jego EV natychmiast spada poniżej 0. Pewnie na ten moment model uznaje, że EP nie trafił flopa, puścił automatyczny cbet, na turnie Król mu nie pomógł więc jest gotowy poddać rękę. Wydaje się potwierdzać to river, gdzie model przewiduje, że jak SB zabetował, to EP najpewniej spasuje.
Czyli ogólnie wydaje się, że idzie we właściwą stronę. Ale są też problemy. Model wydaje się reagować z opóźnieniem. Gdy SB sprawdza przed flopem, to EV zmienia się dopiero w następnym kroku, gdy pasuje będący za nim BB. Do tego model wydaje się prawie nie zwracać uwagi na padające karty. Ale może nie robi tego po prostu w kroku, w którym zostają wyłożone, a informację o nich zawiera dopiero w predykcjach z kolejnych zagrań. No i model oszukuje, bo "dobiera" sobie brakujące EV od graczy MP, CO i BTN, którzy spasowali przed flopem i ich EV od momentu spasowania powinno wynosić 0, a tymczasem mają jakieś drobne na minusie.
Czyli podsumowując idzie w dobrą stronę, ale daleko jeszcze do oczekiwanego rezultatu.

#poker #python #programowanie #deeplearning