Перемотайте на 4 минуты 25 секунд, чтобы посмотреть на общение между двумя NPC под управлением ИИ.

Корпорация Microsoft, которая инвестировала 1 миллиард долларов в OpenAI, обладает эксклюзивным правами на исходные коды и коммерческое применение модели GPT-3, потому вряд ли подобная технология будет реально применяться в самом Modbox. Но это видео-демо по прежнему отличный способ посмотреть на будущее NPC в играх. Языковые модели будущего могут изменить сам подход к геймдизайну и создать целые новые игровые жанры.

Эти неприятные паузы между вопросом и ответом NPC из-за того, что и модель GPT-3 и система синтеза голоса Replica - обе являются облачными технологиями. Будущие модели, запущенные на устройствах пользователей смогут преодолеть эту задержку. Google и Amazon уже включают специализированные чипы в некоторые устройства для умного дома, чтобы сократить задержку у цифровых ассистентов.

Как это возможно?

Книги, фильмы и телепрограммы все крутятся вокруг персонажей. Но в нынешних видеоиграх и VR-аттракционах вы не можете напрямую общаться с персонажами вовсе, или можете выбирать только из заранее прописанных ответов в диалоговом дереве.

Прямое общение с виртуальными персонажами и получение убедительных ответов, вне зависимости от вопроса, ещё совсем недавно было невозможно. Но недавний прорыв в технологиях машинного обучения делает эту идею наконец-то достижимой.

В 2017, подразделение по разработке ИИ Google представило новый подход к языковым моделям, под названием Транфсормеры. Новейшие модели машинного обучения на тот момент и так уже использовали концепцию внимания, чтобы получать лучшие результаты, но новый подход был полностью построен вокруг этой концепции.

В 2018 году, профинансированный Илоном Маском стартап OpenAI использовал подход Google при создании своей новой языковой модели общего назначения, названной Generative Pre-Training (GPT) и обнаружил, что GPT способна предсказывать следующее слово во множестве предложений, и может отвечать на некоторые вопросы со множеством вариантов ответа.

В 2019, OpenAI усложнил эту модель более чем в 10 раз в GPT-2. Они обнаружили, что это "усложнение" серьёзно улучшило возможности системы. Давай GPT-2 всего несколько предложений в качестве ввода, она теперь была способна писать целые эссе на почти любую тему, или даже производить грубый перевод. В некоторых случаях, вывод системы был неотличимым от человеческого. Из-за возможных последствий, OpenAI изначально решила не выкладывать модель в общий доступ, что привело к обсуждению в СМИ и спекуляциях о возможных социальных последствиях применения продвинутых языковых моделей.

У GPT-2 был 1.5 миллиард параметров, но в июне 2020 OpenAI опять усложнила модель, доведя количество параметров до 175 миллиардов в GPT-3 (использовавшейся в этом демо). Вывод GPT-3 почти всегда не отличим от человеческого.

Технически, у GPT-3 нет реального "понимания" (хотя, философские обоснования этого термина, все ещё обсуждаются). Порой GPT-3 может выдавать бессмысленные или предвзятые результаты. Исследователям все ещё предстоит найти механизмы решения подобных проблем, например "проверки на смысл", прежде чем подобные модели найдут применение в потребительских продуктах.

Оригинал статьи на английском