Так выглядит стандартный интерфейс покерного клиента. Здесь можно выбрать стол и тип игры, настроить различные опции, сделать депозит.

В компьютерных клубах, а они мало отличались от интернет-кафе, я бывал еще работая в своем первом казино. С компанией коллег мы заваливались в небольшое помещение уставленное лучевыми мониторами и зарубались по сети Half life или Quake Arena. Последняя игра мне нравилась своей красочной графикой и возможностью попасть во фрага даже при минимуме навыков. Потусоваться в компании, пострелять друг в друга в виртуальном пространстве, при этом видеть эмоции соперников сидящих рядом нравилось, а вот засиживаться за прохождением одиночных игр было для меня весьма сомнительным, да и не дешевым удовольствием. Весь мой опыт общения с ПК состоял из нескольких краткосрочных визитов в компьютерный клуб. На тот момент мир охватила еще одна мания - официальным началом бума социальных сетей принято считать 2003—2004 года, когда в США были запущены LinkedIn, MySpace и Facebook. Москва живо откликалась на глобальные мировые тренды, следуя новым веяниям и я устремился в мировую паутину в попытке зарегистрировать электронную почту и завести аккаунт в соцсети. Тут возникли непредвиденные сложности. Сидя перед монитором в интернет-кафе я не понимал куда кликнуть чтобы ввести текст в нужную графу, что нажать чтобы поменять язык ввода. Оказалось запустить игру и пострелять куда проще чем выполнить несложную задачу без умения обращаться с интерфейсом операционной системы. Эти проблемы решались обращением за помощью к персоналу интернет-кафе, а вот подбор названия почты и пароля отнял нереальное количество нервных клеток - все варианты устраивавшие меня были заняты, а названия и пароли случайно сгенерированные сайтами было невозможно запомнить. В конце концов это препятствие тоже удалось преодолеть и я стал обладателем электронной почты. Редкие визиты в интернет-кафе не могли компенсировать отсутствие собственного ПК: ни играть в покер, ни нормально общаться в Одноклассниках не было возможности.

Пояснение для современной молодежи, общающейся в соцсетях в основном через смартфоны: На тот момент я обзавелся четвертым по счету мобильным телефоном. Важным отличием от предыдущих было наличие у сотового цветного экрана. Это был подержанный Nokia 6100 за пару сотен баксов, в этом, прекрасном для того времени, телефоне не было возможности пользоваться интернетом, по моему даже функция MMS отсутствовала.

Резко повысил мою компьютерную грамотность и умение пользоваться мировой паутиной переезд в Москву младшего брата. Как только братишка достиг совершеннолетия он покинул родной дом и переехал ко мне вместе с купленным отцом для его учебы в техникуме компьютером. Уж очень он хотел побывать на концерте Нашествие, что из-за моей несдержанности не удалось осуществить пару лет назад. Мы с ним стали обживать снятую мною в Ближнем Подмосковье квартиру.

С помощью брата и его ПК я потихоньку освоил интерфейс WIndows, но регистрация на различных сайтах все еще была мучением. Домашний интернет работал через визжаший модем и загрузка страниц различных сайтов занимало не меньше пары минут. Это тоже доставляло немало хлопот. Особенно трудно далось открытие электронного кошелька на сайте Webmoney для заведения денег в покер-рум. Для регистрации на сайте требовалось пройти многоступенчатую верификацию с оформлением сертификата доступа, при подвисании страницы срабатывала защита сайта и нужно было логиниться снова. Первый покеррум на котором я попробовал сыграть был ким-то малоизвестным российским сайтом, о котором слышал от коллег. Покерный клиент сайта был невыразительным и неудобным. Не могу точно вспомнить заводил ли я на тот сайт какие то деньги, т.к. начинал я освоение клиентов покеррумов всегда на тренировочные фишки или во фрироллах. Play money доступны на любом покерном сайте, это дает возможность не рискуя средствами  разобраться в интерфейсе покерного клиента. Игра на тренировочные фишки не дает возможности научится многому, они подходят лишь для освоения программного обеспечения. Эти фишки никто из игроков не бережет и расшвыривая их направо и налево, совершая действия невозможные при игре на реальные деньги. Играя во фрироллы можно получить представление о повышении блайндов и динамике покерных турниров, но так же как и за тренировочными ринговыми столами с игрой на play money научится чему то большему невозможно. Успехов даже во фрироллах не наблюдалось, я ни разу не переваливал за середину турнира. Опыт игры с казино, когда наличие стратегии увеличило мои шансы на выигрыш, подтолкнул меня к поиску обучающих материалов по техасскому холдему в интернете. Материалов было завались, пара прочитанных статей подсказывали что перво-наперво нужно изучить чарт стартовых рук.

Чартами называются таблицы, которые демонстрируют играбельные спектры рук, а также указывают на то, как следует действовать с этими руками. Каждый чарт состоит из диапазонов.

На этапе префлопа чарт стартовых рук помогает нам определиться, с какими карманными картами следует входить в игру. Чарты для разных видов покера и различных форматов могут сильно отличаться.

Только начав изучать таблицу я тут же увидел результат дожив до финального стола во фриролле. Это меня воодушевило еще больше, я решил что ключ к успеху у меня уже в руках и решил уже начать зарабатывать деньги. Знакомство с сайтом PokerStrategy давало возможность получить банкролл потратив минимум своих средств. Для получения пятидесяти долларов на аккаунте покер-рума одного из партнеров школы нужно было изучить несколько статей и ответить на вопросы викторины. Я выполнил все условия Покерстратеджи и получил заветный полтинник на раскрутку банролла. Мой выбор пал на PartyPoker. Переезд из подмосковной квартиры в похожую съемную в московском спальном районе решил проблему с доступом к скоростному интернету, Москва лидером страны по наращиванию оптоволоконных коммуникационных сетей, цена за качественное подключение к всемирной паутине в столице была дешевле чем в регионах и МО в разы.

Когда я вступил в игру первая генерация покер-клиентов Planet Poker, Paradise Poker уже сошла со сцены подорвав доверие. В покерной тусовке я слышал отзвуки скандалов с генератором случайных чисел, т.к. многие высказывали недоверие к этому аспекту онлайн игр, но подробностей не знал. Самые большие проблемы у пионеров онлайн покера были с выводом денег, но меня они не коснулись))

Интерфейс покерного клиента за игровым столом.

К лету 2003-го аудитория PartyPoker превышала аудиторию всех остальных сайтов вместе взятых. К 2004 году ежедневная прибыль PartyPoker превышала $1,000,000. В 2006 году PartyPoker правил покерным миром. Компания входила в список FTSE 100, по данным лондонской биржи ее стоимость превышала стоимость British Airways. Создатели сайта – дочь американского порно-барона и два индийских IT-гения – первыми разглядели маркетинговую выгоду онлайн-турниров. Для привлечения игроков был выбран ход, работающий до сих пор – к открытию сайта была приурочена серия онлайн-МТТ «PartyPoker.com Million». Выбрав для игры лидера рынка, следуя заветам покерной школы любезно предоставившей мне стартовый капитал, я начал играть соблюдая правило сохранения банкролла. Правило гласило что для того чтобы пережить  даунстрик и не проиграть все игровые деньги при отклонении дисперсии не стоит ставить на один игровой стол бай-ин более 5% от общей суммы банкролла. В онлайн покере динамика игры и стили игроков очень сильно меняются при подъеме по лимитам, поэтому приходится менять и свою игру. В течении месяца удавалось соблюдать дисциплину. Карта шла банкролл вырос с 50 долларов до 500, тут я поверил в себя. Продвижение по лимитам стало казаться слишком медленным. Играл я без особого фанатизма в свободное от рабочих смен в казино дни по 5-10 часов. Через два месяца регулярных выигрышей я уже никаких правил не соблюдал. Где то на уровне 1200 долларов и лимите блайндов 1-2$ я застрял.

Поклонники кинокартины даже разбирают раздачи сыгранные Майком с точки зрения современной покерной стратегии. Я не совсем согласен с выводами о беспомощности героя Джона Малковича за покерным столом. Игру один на один (heads up) все таки нельзя целиком свести к математике, считывание и использование психологического состояния соперника выходит в такой игре на первый план.

Rounders - на английском имеет много сленговых переводов, здесь и бандиты, и шулера и игроки в лапту)), но совсем не это значение вкладывалось автором фильма. В статье Википедии посвященной фильму на английском говорится что термин rounder относится к людям переезжающим из города в город в поисках игры по высоким ставкам. Если поискать значение термина в английском покерном сленге, то окажется что rounders эквивалентно grinders. А это и есть профессионалы покера, профессионалы не в смысле лучших в игре, а в смысле зарабатывающих на жизнь игрой в покер.

В большинстве случаев в зарубежном прокате название фильма не переводили, а оставляли оригинальное. А вот во Франции перевели как игроки или картежники, что куда ближе к смыслу.

Крылатая фраза из кинокартины в начале этого поста произнесена одним из таких профессиональных игроков  и раскрывает суть их безмолвного союза. Они не охотятся друг за другом, но и не играют вместе. Им совсем не интересно столкновение с профессионалом сидящим по соседству, они поджидают так называемых рекреационных игроков(от англ. recreation - отдых), тратящих деньги в свое удовольствие. Эти пираньи охотятся именно на таких рыб(покерный термин от англ. fish - сленг. плохой игрок). Перевод названия на русский как Шулера неправильно передает смысл картины. И хотя в покере никуда не деться от трюков и обмана, фильм не об этом. 

Единственный шулер из действующих лиц, ничего кроме жалости и презрения окружающих не вызывает. Он сам признается что без мошенничества не сможет обыграть своих оппонентов, за обманом "Червь" скрывает свою слабость. Опытные игроки легко раскрывают обман и ему достаются одни оплеухи, поставив под удар репутацию друга взявшего его на поруки он бросает его одного наедине с проблемами. Игроки пытающиеся заработать покером относительно честно, наоборот выглядя едва ли не современными рыцарями, устраивающими за покерным столом интеллектуальную дуэль. Русский мафиози соблюдает кодекс чести и оставляет зарвавшемуся юнцу его честный выигрыш, признав свое поражение в поединке.

В фильме хорошо показано как игра влияет на социализацию человека. Захваченный игрой Майк не может ни учится, ни поддерживать нормальные отношения с девушкой. В целом фильм хоть и показывает изнанку жизни гэмблера, но без очернения. В финале, как свойственно американским фильмам, "хэппи энд", однако присутствует недосказанность. - Чем закончится погоня Майка за мечтой? Иная тональность киноистории жизни самого талантливого из известных на сегодняшний день игроков Стю Унгаре (Stu Ungar).

Менее захватывающий по сравнению с Rounders, но более правдивый фильм High Roller: The Stu Ungar Story, в российском прокате Игрок(2003).

Его история напомнила мне историю шахматиста из романа В. В. Набокова "Защита Лужина" история гениального ребенка не приспособленного к реальной жизни. Отец Стю Унгара был букмекером и тот рос в окружении азартных игр, начав играть в карты на деньги с малолетства. В 10 лет он выиграл турнир по карточной игре джин рамми и забросил школу ради чтобы играть на деньги, психологически оставшись подростком, пытающимся самоутвердится в том единственном виде деятельности в котором преуспел.

Некоторые из финансовых покровителе(бэккеров) Унгара отмечали, что он мог бы заработать неизмеримо больше за свою карьеру, если бы был более "хитрым", давая своим оппонентам ложную веру в то, что они могут победить его и пытаясь обыграть стали бы рисковать большими деньгами. Однако Унгар хотел бить своих противников как можно сильнее и часто оскорблял тех, чьи навыки, по его мнению, уступали его собственным.

Примерно в начале 80-х Унгар начал употреблять кокаин. Он отметил в своей автобиографии, что сначала он использовал его по совету коллег игроков в покер из - за способности наркотика поддерживать бодрость и энергию в течение длительного периода времени, что очень помогало во время марафонских покерных сессий. Однако такое употребление вскоре привело к зависимости.  Будучи невероятно талантливым игроком Унгар пустил свою жизнь под откос.

Жизнь человека поглощенного игрой насыщена полярными эмоциями. Череда финансовых взлетов и падений, переживаемых иным обывателем за всю жизнь у игрока может случится за один день. Все кроме игры обесценивается, он погружается в омут азарта и живет в некоем виртуальном мире, где время останавливается. Но не только в казино нас подстерегают зависимости. Наркомания, переедание, шопоголизм, трудоголизм; зависимости от гаджетов, компьютерных игр , порнографии, - разнообразие видов аддикций увеличивается год от года. Все мы периодически впадаем в ловушку того или иного увлечения, грозящего перерасти в зависимость. Умело переключаясь с одного увлечения на другое человек способен избежать этих ловушек. Разносторонне развитый человек не впадает в крайности, благодаря сбалансированности своих интересов и привязанностей. С детства развивший невероятные способности к азартным играм Стю пренебрег всеми другими родами деятельности и интересами. Как результат неконтролируемое влечение к острым ощущениям и неспособность компенсировать их отсутствие приведшее к наркотикам  ранней смерти. Герой Мэтта Дэймона имеет более широкий круг интересов, может тяжело работать, быть способным студентом, - все это дает ему хорошие шансы не потерять себя в пучине азарта.

Пионер современной теории игр Джон фон Нейман говорил: «Реальная жизнь вся состоит из блефа, из маленьких приёмов обмана, из размышлений о том, каких действий ожидает от тебя другой человек. Вот что представляет игра в моей теории» (цитата из 13-й серии документального сериала «Возвышение человечества»).

Другими словами, Джон фон Нейман предвидел, что для создания сильного ИИ компьютер должен научиться играть в игры с неполной информацией, которые наиболее соответствуют человеческому поведению в реальной жизни. Такие игры как покер.

Настольные игры — традиционная область экспериментов в сфере искусственного интеллекта. С каждым годом ИИ обыгрывает человека в разные игры. Сначала сдались шашки, потом шахматы, затем видеоигры Atari, последней пала игра го. Но всё это игры с полной информацией, в которых все игроки имеют полную информацию о состоянии игры. Покер — совершенно другое дело.

Учёные давно пытаются разработать программу, которая бы могла обыгрывать человека в безлимитном Texas Holdem. В отличии от других применений слабого ИИ, здесь успешная разработка окупится мгновенно, потому что ежедневно в онлайновых покер-румах разыгрывают банки на миллиарды долларов.

Джон фон Нейман говорил, что покер восхищает его, и это совершенно неудивительно, учитывая уникальные особенности этой игры с неполной информацией. У каждого игрока есть только часть информации о состоянии игры — и он действует, исходя из этой частичной информации, а также оценивая действия других игроков.

Раньше ИИ добивался некоторого успеха только при игре в лимитный холдем, самый примитивный вариант игры с ограниченным шагом повышения ставок. В лимитном варианте у игрока есть всего лишь 1014 вариантов развития. Для сравнения, в безлимитном холдеме таких вариантов уже 10160. Кстати, в игре го вариантов развития 10170, но там игра с полной информацией, то есть принципиально более простая задача.

Игры с неполной информацией требуют совершенно более сложного уровня рекурсивного мышления, чем игры с полной информацией. Здесь правильное действие ИИ зависит в том числе от информации, которую ИИ получил от действий оппонента. Но информация, которую выдал оппонент, в свою очередь, является производной функцией от предыдущих действий ИИ и той информации, которую ИИ своими действиями выдал оппоненту. Это и есть рекурсивное мышление, с которым имеет дело программа DeepStack. И справляется она очень неплохо, судя по результатам игр с профессионалами (см. таблицу).

Архитектура программы DeepStack показана на иллюстрации. Программа переоценивает свои действия на каждом этапе, когда от неё требуется принятие решения. Для расчёта вэлью каждой ставки используется дерево предвидения (lookahead tree), значения для подветок которого вычисляются с использованием нейросети, заранее обученной на случайных игровых ситуациях.

Структура нейросети демонстрирует, что на входе подаётся размер банка, открытые карты и диапазоны игроков (возможные комбинации, с которыми игрок мог войти в игру таким образом, каким он в неё вошёл (колл, рейз, 3-бет и т.д.), вероятность каждой комбинации). Нейросеть состоит из семи полностью соединённых скрытых слоёв. Выходные значения затем обрабатываются другой нейросетью, которая проверяет, что действия удовлетворяют ограничению на нулевую сумму.

Особенностью программы является то, что она активно сопротивляется анализу своей стратегии со стороны оппонента. Другими словами, программа использует равновесие Нэша — ключевое понятие теории игр. Под равновесием Нэша подразумевается набор стратегий, котором ни один участник не может увеличить выигрыш, изменив свою стратегию, если другие участники своих стратегий не меняют. С точки зрения антагонистической игры в покер основной задачей DeepStack является поиск равновесия Нэша, то есть минимизация возможности эксплуатации своей стратегии другим игроком для получения им прибыли. Абсолютно все разработанные до сегодняшнего дня покерные программы легко эксплуатировались после прощупывания их стратегии с помощью техники LBR (local best-response) — см. недавний обзор самых современных ботов для покера.

Так вот, DeepStack совершенно не эксплуатируется с помощью LBR. Вкупе с реальными результатами, которые показал бот в игре с профессионалами, остаётся только один вопрос: зачем разработчики опубликовали информацию об этой архитектуре в открытом доступе?

Научная работа опубликована 6 января 2017 года на сайте arXiv.org, где выкладываются статьи до выхода в официальном журнале.

Группой разработчиков руководит профессор информатики Майкл Боулинг из Университета Альберты (США).

Кафедра покерных ботов в Университете Альберты (Computer Poker Research Group) создана ещё в 90-е годы, первым созданным здесь ботом был Loki в 1997 году. Потом были Poki (1999), PsOpti/Sparbot (2002), Vexbot (2003), Hyperborean (2006), Polaris (2007), Hyperborean No-Limit (2007), Hyperborean Ring (2009), Cepheus (2015) и, наконец, венец творения — DeepStack.

В ближайшее время программу DeepStack проверят в играх с более опытными профессионалами, которые гораздо выше уровнем, чем ребята из таблицы в начале статьи. Начиная с этих выходных программа будет играть на турнире в питтсбургском казино, куда ожидается приезд нескольких профессионалов мирового класса. За 20 дней DeepStack должна сыграть около 120 000 рук. Это достаточно много, чтобы довольно точно оценить качество программы.

На данный момент DeepStack сыграл 44 852 руки против профессионалов добровольцев, отобранных Международной федерацией покера. Игроки получали денежные призы за хорошую игру (первый приз $5000 CAD), так что люди играли в полную силу. Тем не менее, программа в хорошем плюсе.

Момент вылета  с финального стола турнира с призом в ~1000$

Для людей не в теме пояснение:

У двух людей, сыгравших All-In(все свои фишки), в руке оказываются разномастные Король Девять, у одно и у второго, почти во всех случаях это значит делёжка (банк делится по полам) , но не в данном случае, оппонент данного игрока собрал флеш(5 карт одинаковой масти) , шанс такого исхода меньше 0,1%.

Комментарий для минусов внутри