Ютубер научил нейросеть играть в Dark Souls 3⁠⁠

Для достижения данной цели Ymfah использовал модификацию основанную на AutoGPT. Модифицированная нейросеть смогла победить первого босса. И не только...

Искусственный интеллект, основанный на пользовательском форке AutoGPT, принимал входные данные от пользователя. К примеру, "Составьте пошаговое руководство по убийству Гундира. Объясните это так, будто целевая аудитория новичок в серии Dark Souls." Затем входные данные были преобразованы в набор ключевых локаций, предметов и т. д. Эта информация была преобразована во внутриигровые координаты.

В качестве модификации ютубер использовал ИИ-модель Falcon-180B.

AutoGPT основан на GPT-4, который является очень мощным. Тем не менее, ему не хватает знаний о Dark Souls 3. Чтобы исправить это, я обучил модель искусственного интеллекта под названием Falcon-180B с набором данных предметов, боссов, стратегий, глюков и т. д. Отсюда и «кастомная» часть. Мой компьютер не смог справиться с количеством вычеслений, поэтому для обработки этой части был использован Google Cloud Compute Engine.

Ymfah

Вместо настоящего игрока к AutoGPT был подключён уже имеющийся в Dark Souls 3 ИИ для NPC-помощников с доступом к памяти игры.

Хотя поначалу это кажется невыполнимой задачей, в игре уже есть очень полезная система, которая сделает 99% работы. ИИ NPC-помощника/вторженца.

Захватив ИИ, используемый для NPC, и поместив маркер «игрок» по другую сторону туманных ворот босса, персонаж игрока будет самостоятельно перемещаться, участвовать в бою, лечиться и т. д.

Искусственный интеллект также может получить доступ к памяти Dark Souls 3 и просмотреть ее. Эта функция позволяет ИИ просматривать текущее состояние игры, например, текущие координаты, местоположение предмета в инвентаре, мертв босс или нет, и многое другое.

Ymfah

Также нейросеть сама записывала фрагменты геймплея с помощью OBS в связке с OBSPython. Финальный результат далее был собран через ffmpeg.

Отснятый материал записывается с помощью OBS. OBSpython используется для запуска и остановки записи. Это самая простая часть.

Саундтрек нарезан с помощью BPM, а игровой процесс обрезан под эту длину. Соответствующие субтитры генерируются с помощью вызовов API GPT-4 и автоматически выполняются простые правки, такие как увеличение масштаба. Есть возможность использовать голосовые реплики ИИ (ElevenLabs).

Результирующее видео компилируется и кодируется с помощью ffmpeg. Скрипт python используется для объединения всех отснятых материалов, субтитров и изображений. Позже видео проверяется на целостность файла, и если все в порядке, начинается процесс загрузки.

Ymfah

Само видео, его название и превью к видео тоже было создано нейросетью.

После кодирования всего видео файл будет загружен на YouTube с использованием заголовка, сгенерированного искусственным интеллектом (GPT-4) и миниатюры (DALL-E). С недавним обновлением DALL-E теперь может генерировать изображения, содержащие текст, что было большим подспорьем при создании эскизов.

Ymfah

Итоговый результат оказался впечатляющим, нейросеть смогла победить босса успешно спарировав все его атаки.