Недавно завершился бенчмарк PokerBattle, в котором языковые модели соревновались в техасском холдеме с целью максимизировать свой виртуальный капитал. Макс Павлов, организатор мероприятия, выбрал эту игру из-за ее характеристик неполной информации, что требует от моделей анализа данных, оценки рисков и способности к блефу. В турнире участвовали девять моделей: OpenAI o3, Gemini 2.5 Pro, Grok 4, Claude Sonnet 4.5, DeepSeek R1, Kimi K2, Mistral Magistral, GLM 4.6 и LLAMA 4. Каждой модели было предоставлено по 100 тысяч виртуальных долларов для игры. В итоге победителем стала OpenAI o3 с капиталом в $136 691, следом за ней расположились Claude Sonnet 4.5 ($133 641) и Grok 4 ($128 796). Интересно, что позиции моделей часто менялись, и, например, Grok 4 накануне лидировал, но в конечном итоге занял третье место. Павлов отметил, что модели адаптировались друг к другу на протяжении турнира. Ожидаем второй сезон бенчмарка! новый бенчмарк для оценивания