Catcher22

У меня не было какой-то особой начальной стратегии. Я просто давал каждой модели букмекерские коэффициенты на исходы матчей (1/X/2/1X/12/X2) и иногда коэффициенты на тоталы и голы, если это было релевантно. Далее я просил их сделать прогнозы как на одиночные матчи, так и составить экспрессы, то есть ставки сразу на несколько матчей с перемножением коэффициентов. Каждой модели был выдан виртуальный депозит отдельно по 10к рублей на одиночные ставки и экспрессы.

Сам я не большой фанат футбола, смотрю может раз в два года крупные турниры. Букмекерскими ставками я тоже не увлекаюсь. Так что я был довольно неподготовлен к такому эксперимаенту со своей стороны. Тем не менее я не был пассивным наблюдателем и активно обсуждал с искусственным разумом стратегии и итоги ставок. По ходу разговоров с моделями и набора опыта я корректировал стратегии. Я думаю, во многом их ставки сделаны под моим влиянием, т.к. у LLM есть склонность "лебезить" перед пользователем.

Как бы то ни было, заканчиваю затянувшееся вступление. Перед результатми нужно сказать, что Grok не дошёл до конца эксперимента, т.к. стал сильно путаться в контексте и тупить.

Результаты одиночных ставок:

У Grok больше всего ставок, потому что он делал одиночные ставки без напоминания. У Qwen меньше всего, потому что он позже вошел в игру. Все 3 модели не слили депозит, а показали вполне достойный результат. Лучше всех прогнозировал Qwen, а больше всех выиграл Deepseek, но это за счет большего количества ставок.

Реузльтаты экспресс ставок (помимо нейросетевых моделей в эксперименте поучавствовал и живой я реальными ставками у букмекера):

Как видим, Qwen почти слил депозит, Deepseek ушел в небольшой плюс, Grok ушел в небольшой минус, а живой человек всех переиграл и уничтожил.

Не могу сказать, что результаты оказались неожиданными просто потому, что у меня не было никаких ожиданий. Так или иначе, давайте подведем некоторые итоги эксперимента. Сначала наблюдения про поведение моделей:

• Grok. Очень неприятно удивил. По взаимодействию с пользователем - это самая слабая модель. Постоянно забывает контекст, путается в очередности команд, не следует указаниям. Он постоянно предлагал очень неразумные варианты типа ОЗ в матче Шотландия-Бразилия. До конца эксперимента он не дотянул, т.к. слишком уж сильно стал тупить. Когда Grok только появился, он по ощущениям был сильнее и Deepseek и ChatGPT, а сейчас натуральный идиот. Я думаю бесплатную версию сознательно дибилизировали, чтобы подтолкнуть пользователей к платной подписке. После этого опыта я полностью перестал пользоваться Grok для серьезных запросов.

• Deepseek. Это единственный ИИ, который использовал активный внешний поиск и он знал, что искать. Он узнавал детали предстоящих матчей, например какие игроки травмированы и какие дисквалифицированы, а также ссылался на прогнозы суперкомпьютера Opta. Также Deepseek лучше всех помнит контекст и почти не путается. Это единственная модель сыгравшая в плюс в экспрессах.

• Qwen. Самая противоречивая модель. Он показал хороший результат в одиночных ставках, но слил депозит в экспрессах(возможно это я слишком подстрекал его к рисковым ставкам). Qwen в отличии от остальных дал ценные советы как беттер вне футбольного контекста. Например он посоветовал не ставить на суперфаворита(как в матче Аргентина-Кабо Верде) в несколькольких экспрессах подряд, это сохранило много денег. Также он больше опирася на тоталы и голы нежели чем на результат матча. Большинство событий в моих собственных ставках я взял от Qwen.

Пожалуй главное наблюдение эксперимента - ИИ модели не способны к качественным букмекерским прогнозам без участия живого человека. Человек при этом должен быть вовлечен в процесс на достаточно высоком уровне. То есть просто скормить модели список игр и коэффициентов из какого-нибудь кубка Румынии и ожидать успешных результатов не получится. То, что я обыграл по доходам ИИ модели, прекрасный тому пример.
Это касается не только тех моделей, что я тестировал. Например суперкомпьютер Opta давал 57/43 в пользу Франции против Испании. (Букмекеры, похоже, строят свои коэффициенты на таких моделях, а не прогнозах живых аналитиков). Я не бог весть какой эксперт в футболе, но посмотрев по одной игре каждой команды, я отмел варианты с победой Франции, т.к. для меня было очевидно, что Испания сильнее. И например я также отмел варианты с победой Бразилии над Норвегией.

На этом пожалуй закончу этот пост. Я несомненно и дальше продолжу эксперименты с дуругими турнирами и видами спорта. Если кому-нибудь будет интересно, то могу выложить таблицу ставок или расшарить разговоры с моделями.

Спасибо всем кто дочитал до конца!