Ютубер научил нейросеть играть в Dark Souls 3
Для достижения данной цели Ymfah использовал модификацию основанную на AutoGPT. Модифицированная нейросеть смогла победить первого босса. И не только...
Искусственный интеллект, основанный на пользовательском форке AutoGPT, принимал входные данные от пользователя. К примеру, "Составьте пошаговое руководство по убийству Гундира. Объясните это так, будто целевая аудитория новичок в серии Dark Souls." Затем входные данные были преобразованы в набор ключевых локаций, предметов и т. д. Эта информация была преобразована во внутриигровые координаты.
В качестве модификации ютубер использовал ИИ-модель Falcon-180B.
AutoGPT основан на GPT-4, который является очень мощным. Тем не менее, ему не хватает знаний о Dark Souls 3. Чтобы исправить это, я обучил модель искусственного интеллекта под названием Falcon-180B с набором данных предметов, боссов, стратегий, глюков и т. д. Отсюда и «кастомная» часть. Мой компьютер не смог справиться с количеством вычеслений, поэтому для обработки этой части был использован Google Cloud Compute Engine.
Ymfah
Вместо настоящего игрока к AutoGPT был подключён уже имеющийся в Dark Souls 3 ИИ для NPC-помощников с доступом к памяти игры.
Хотя поначалу это кажется невыполнимой задачей, в игре уже есть очень полезная система, которая сделает 99% работы. ИИ NPC-помощника/вторженца.
Захватив ИИ, используемый для NPC, и поместив маркер «игрок» по другую сторону туманных ворот босса, персонаж игрока будет самостоятельно перемещаться, участвовать в бою, лечиться и т. д.
Искусственный интеллект также может получить доступ к памяти Dark Souls 3 и просмотреть ее. Эта функция позволяет ИИ просматривать текущее состояние игры, например, текущие координаты, местоположение предмета в инвентаре, мертв босс или нет, и многое другое.Ymfah
Также нейросеть сама записывала фрагменты геймплея с помощью OBS в связке с OBSPython. Финальный результат далее был собран через ffmpeg.
Отснятый материал записывается с помощью OBS. OBSpython используется для запуска и остановки записи. Это самая простая часть.
Саундтрек нарезан с помощью BPM, а игровой процесс обрезан под эту длину. Соответствующие субтитры генерируются с помощью вызовов API GPT-4 и автоматически выполняются простые правки, такие как увеличение масштаба. Есть возможность использовать голосовые реплики ИИ (ElevenLabs).
Результирующее видео компилируется и кодируется с помощью ffmpeg. Скрипт python используется для объединения всех отснятых материалов, субтитров и изображений. Позже видео проверяется на целостность файла, и если все в порядке, начинается процесс загрузки.
Ymfah
Само видео, его название и превью к видео тоже было создано нейросетью.
После кодирования всего видео файл будет загружен на YouTube с использованием заголовка, сгенерированного искусственным интеллектом (GPT-4) и миниатюры (DALL-E). С недавним обновлением DALL-E теперь может генерировать изображения, содержащие текст, что было большим подспорьем при создании эскизов.
Ymfah
Итоговый результат оказался впечатляющим, нейросеть смогла победить босса успешно спарировав все его атаки.
Что надо успеть за выходные
Выспаться, провести генеральную уборку, посмотреть все новые сериалы и позаниматься спортом. Потом расстроиться, что время прошло зря. Есть альтернатива: сесть за руль и махнуть в путешествие. Как минимум, его вы всегда будете вспоминать с улыбкой. Собрали несколько нестандартных маршрутов.
Terrifying warrior by Stable Diffusion
Логово ледяного короля и путь в разрушенный город
Замок из дарк фентези
Dark Souls
Арт от Midjourney
Мрачнота в стиле Bloodborne и Dark Souls
Еще немного мрачноватостей от Оператора вам в ленту)
Говорят, если гуманитарий пройдет это головоломку до конца, он может считать себя технарем
А еще получит ачивку в профиль. Рискнете?