Сообщество - Машинное обучение
Машинное обучение
188 постов 2 904 подписчика
86

Как мы в лаборатории ИИ живого Геральта делаем

Меня зовут Даша, и я уже полгода работаю лингвистом в лаборатории искусственного интеллекта. В прошлом году мы вступили в Европейскую Конфедерацию Лабораторий ИИ (CLAIRE) и стали членами экспертной комиссии по формированию стратегии развития Общего ИИ в РФ. Сами базируемся в Краснодаре.
Кроме игры в кс по вечерам, мы занимаемся созданием искусственного интеллекта. Лично я работаю над направлением, которое поможет оживить персонажей в играх. В качестве нашего подопытного, мы выбрали игру Ведьмак 3 -- будем обкатывать ее главного героя Геральта из Ривии и его друзей. Эти персонажи будут вести себя как настоящие люди: обладать уникальными чертами характера, объёмом специфической информации, интересами и так далее.. Все это позволят наделять персонажей компьютерных игр личностными модулями, особыми знаниями, возможностью общаться. Делать их умными и живыми.
Возникает вопрос: чего мы вообще за это взялись?

У вас было когда-нибудь такое, что вы играете, скажем в dragon age, mass effect, того же ведьмака, душу вкладываете, друзей набираете, а потом заканчиваете главный квест и все? Ничего. Пустота. Вы еще можете ходить и выполнять квесты, но мир мертв. Подходите вы к своему романтическому интересу или боевому товарищу, а он или она такие: "хмм, чего тебе?".

И все.

Больше от них ничего не дождешься.

А сердечко болит.

Как мы в лаборатории ИИ живого Геральта делаем Текст, Длиннопост, Россия, Интересное, Игры, Ведьмак, Технологии, Карантин, Видео

Мы с этим тоже столкнулись, нам это не понравилось. Да и даже без основных квестов - хочется больше интерактивности, общения. Особенно сейчас, когда сидишь, сычуешь дома, потому что ввели карантин. Ни в универ, ни на работу не сходить.  Остается только смотреть фильмы, играть в игры и болтать по дискорду, когда связь позволяет. Ну и делать вылазки в ближайший магазин по улицам похожим на зону отчуждения.

Как мы в лаборатории ИИ живого Геральта делаем Текст, Длиннопост, Россия, Интересное, Игры, Ведьмак, Технологии, Карантин, Видео

На данный момент мы работаем вместе с сообществом фанатов Ведьмака. Мы пилим интеллект, а ребята помогают нам собирать знания по вселенной. Сначала это были сложные таблицы, но мы выпустили быстро склеенную программу, и теперь актуализировать знания куда проще. В программе сейчас доступны задания по оружию, броне и персонажам, скоро добавятся новые.

Также было необходимо выбрать конкретную сюжетную линию, которую «прожил» Геральт, так как мы формируем картину мира на момент финала дополнения «Кровь и Вино», когда он уже осел в своём Корво Бьянко. Мы уже сделали этот выбор и на канале Evoice Erebus вышли три ролика по каждой игре, где он объясняет логичность того или иного выбора.

Как мы в лаборатории ИИ живого Геральта делаем Текст, Длиннопост, Россия, Интересное, Игры, Ведьмак, Технологии, Карантин, Видео

Параллельно этому процессу мы занимаемся развитием самой технологии. Каждый месяц появляются новые интеллектуальные возможности, знания, настройки. Уже сейчас появляются новые инструменты работы над личностью Геральта и других персонажей. Среди них можно выделить:

говорливость;

любознательность;

кругозор;

эмоциональность;

и другие.


16 марта мы показали небольшое демо первой сборки «оживлённого» Геральта из Ривии. На данный момент у него есть базовые знания о «мире» Дикой Охоты и некоторые личные знания. Мы постепенно накатываем на него новые интеллектуальные возможности по мере роста объёма знаний.

Конечно, он еще немного упоротый, но наш Геральт еще маленький. Он только учиться говорить, мыслить и взаимодействовать с окружающим миром.


Оживление NPC в играх — это не просто искусство или эксперимент, живые неписи перевернут представление о видеоиграх и ИИ в целом. Ведь цифровой личностью может быть например гид в музее, автономный робот, персональный ассистент уровня Джарвиса и так далее.

Мы думаем, что эта технология будет очень интересна компаниям, которые создают игры. Следовательно тот путь, который мы пройдем в рамках оживления Геральта из Ривии, даст нам полное понимание того, каким должен быть инструментарий, чтобы разработчикам было удобно им пользоваться и создавать тот игровой опыт, который нам с вами понравится.

Сейчас мы плотно работаем с сообществом, получаем от них положительные отзывы, собираем знания по Вселенной игры и знакомимся с игровыми студиями.


Страница проекта: https://mind-simulation.com/ru/gaming.html

Страница в ВК: https://vk.com/alivenpc


Что вы думаете про наш проект? :)

Показать полностью 2 1
3549

Моя мама

Узнала на пикабу про замечательное приложение, которое за счёт нейросетей восстанавливает изображение. Я в восторге!

На фото моя мама, ей здесь 13 лет)

Моя мама Мама, Нейронные сети, Remini, Длиннопост
Моя мама Мама, Нейронные сети, Remini, Длиннопост

Если обратите внимание на челку, то с ней связана забавная история, когда мама пыталась растопить печь. Подливая керосин, и все ей казалось мало, потому что пламя не разжигалось, после нескольких подливаний, пламя вспыхнуло и сожгло ей часть челки и бровей, испорченную челку пришлось обрезать, хорошо лицо не пострадало)

Показать полностью 1
2452

Пропускаем фото через нейронные сети

Доброго времени суток!


Нарвался на пост пикабушника @barsundukБыстрая бесплатная реставрация/дешакализация старого фото о нейронных сетях и их возможностях.

Понадобилось мне повторить его опыт(вернее заставили воспитатели детского сада и далекообитающие родственники, хранители семейных архивов c тапкотелефоном).


Началось все с фотографии в WhatsApp:

Пропускаем фото через нейронные сети Нейронные сети, Великая Отечественная война, Обработка фотографий, Первый пост, Длиннопост, Remini, Колоризация

Для начала нужно было обрезать фотографию от лишнего фона, не долго думая - режем.

Пропускаем фото через нейронные сети Нейронные сети, Великая Отечественная война, Обработка фотографий, Первый пост, Длиннопост, Remini, Колоризация

Прочитав о приложении Remini на Android решил начать с него. Жалко конечно что работает только с лицами но для этого исходника сгодится.

На выходе результат очень впечатлил.

Пропускаем фото через нейронные сети Нейронные сети, Великая Отечественная война, Обработка фотографий, Первый пост, Длиннопост, Remini, Колоризация

Дальше грузим Фотошоп и накладываем фотографию полученную от нейросети на ту что получили изначально.

Пропускаем фото через нейронные сети Нейронные сети, Великая Отечественная война, Обработка фотографий, Первый пост, Длиннопост, Remini, Колоризация

Дальше через 9may.mail.ru решил колоризировать но для начала загнал ее снова Фотошоп, поднял немного контрастности и перевел из сепии в ч/б.

На выходе:

Пропускаем фото через нейронные сети Нейронные сети, Великая Отечественная война, Обработка фотографий, Первый пост, Длиннопост, Remini, Колоризация

Еще немного правок в Фотошопе и...

Пропускаем фото через нейронные сети Нейронные сети, Великая Отечественная война, Обработка фотографий, Первый пост, Длиннопост, Remini, Колоризация

Еще воспользовался сайтом где на основе нейронных сетей можно в несколько раз увеличить фото без потери качества(но название не помню).

Сильно не судите, много лет тут сижу а вот пост решил "запилить" впервые, да и с подобной обработкой фото первый опыт. Надеюсь что кому-нибудь помог.

Показать полностью 5
5605

Нейросети и старые фотографии

Помимо основной своей работы, немного занимаюсь реставрацией и восстановлением фотографий. С приходом в наше время нейросетей, я с любопытством за ними наблюдаю. Помните, сначала эти фотографией с мордами животных, будто лсд трип? Потом наложение фильтров на фото в тему различных художественных стилей, далее изменение сезона года с камер видеорегистраторов , где из зимы делали лето и наоборот. Потом всем известный deepfake с заменой лиц, который с каждым годом всё лучше и лучше (гляньте только эпизод из "Назад в будущее" с Томом Холладном и Робертом Дауни Мл.!). Вспоминается ещё небольшая рисовалка от Nvidia, где можно было мазками как в паинте нарисовать красивый пейзаж. И вот теперь то, что я честно ждал - восстановление расфокусированных, старых, низкокачественных или низкого разрешения фотографий.

Для начала я попробовал на старом отсканированном фото своего деда, где много шума, видно текстуру бумаги и т.д.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Если долго смотреть на фотографию, видно что получается будто нарисованная карандашом  картина, но профессиональным художником. Да, белые точки, царапины и др. дорисовываются также, потому что нейросеть не понимает нужные ли это объекты для фото или нет. Но радует как преобразуются волосы, щетина и другие детали. И главное убирается этот проклятый шум!

Далее фото ещё одного дедушки, погибшего в ВОВ. Не идеально. Но лицо стало лицом.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Третей фотографией я залил фото своей тёти, трагически погибшей в 14 лет, у который поэтому было очень мало фотографий. На эмоциях скидываю фотографии своему отцу, который "тыжпрограммист" со стажем. Сказал: Очень круто! Особенно сестра. Если судить памяти, по похожести дорисовалось примерно на 80-90%. Единственное с глазами беда, но можно дофотошопить.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Скидываю ему ссылку на приложение, отец открывает свой архив сканов, и первым делом заливает свою расфокусированную фотку с мыльницы из 90х. Идентичность 100%. Даже прыщ на бороде.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Ну и напоследок. Недавно как раз восстанавливал фотографию одной бабушки. Само фото было очень маленькое, а лицо на нём вообще составляло меньше сантиметра.

1. Фото отсканировано в 2400dpi.

2. Моё восстановление + быстрая коллоризация

3. Восстановление оригинала скана приложением

4. Восстановление моей обработанной фотографии + немного фотошопа

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

По итогу хочу сказать, что это очень круто. Жаль работает только на лица.

Ещё видел не мало отзывов, что "рисует" абсолютно других людей. Но в моём случае (да если ещё совмещать с фотошопом) получается практически идеально. Приложение называется Remini есть на iOs и Android. И да, может быть кто-то знает аналоги для ПК?

Показать полностью 3
957

Hent-AI: нейросеть, которая убирает цензуру из аниме

Hent-AI: нейросеть, которая убирает цензуру из аниме Аниме, Нейронные сети, Цензура, Github, Программирование

Пользователь natethegreate выложил на GitHub нейросеть, которая убирает цензуру в аниме. На странице нейросети он описал, как создавал модель и какими инструментами пользовался. Нейросеть использует deep learning и сегментацию изображений — приёмы, которые обычно применяют в беспилотных автомобилях и алгоритмах компьютерного зрения.

Пока она работает довольно медленно и только с двумя типами цензуры: цветными блоками и мозаичным фильтром, — но проект всё ещё на стадии разработки. Кроме того, вы можете взять исходники и попробовать усовершенствовать эту модель.


Источник

538

Ответ на пост «Нейросети и старые фотографии» 

Прочитав об улучшайзинге фотографий посредством нейросетей (а конкретно - при помощи приложения Remini), решил посмотреть, что это за зверь такой и с чем его едят. Благо – в семейном архиве имеются фотографии, обработка которых вручную, скажем так, довольно затруднительна. Итак, погнали.

Первое фото. На нём запечатлён мой дед (он слева) с сослуживцем (март 1942 года, г. Раменское, 201-я ВДБ). Оно уже, в общем-то, по большей части отреставрировано (убраны заломы и большинство артефактов на значимых местах фотографии). Мне просто захотелось добавить резкости и уменьшить зернистость. Смотрим:

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

В целом неплохо. Однако при увеличении картинка становится не столь однозначной. Всё-таки – иногда всё же лучше картинка с «зерном».

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Второе фото. Дед с бабушкой и их дети (среди них мой отец и, соответственно, мои дядя и тётя). Примерно 1958-59 год. За обработку этой фотографии даже не брался ввиду ее сильной размытости. Результат намного интереснее. Обратите внимание – картинка стала практически цветной (колоризация слабенькая, но вполне ощутимая; особенно заметна на увеличенных фрагментах). Похоже, нейросеть не поняла, что перед нею Ч/Б изображение )).

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Дед, кстати, тут ощутимо помолодел. Выглядит чуть ли не моложе, чем на фронтовых фотографиях.

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Дети выглядят как-то… странно. Хотя в чём именно странность, сформулировать вряд ли получится.

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Третье фото. Опять-таки – бабушка и дедушка с внучкой (моей старшей сестрой). Год примерно 1972-73. Тут проблема другого плана – фотография (сама по себе довольно нечеткая) напечатана на текстурированной фотобумаге. Кстати – печать на такой бумаге является неплохим способом «замаскировать» не слишком высокое качество изображения. В результате на скане появился характерный рисунок. Было интересно – справится ли нейросеть с такой «шагренью»? Не справилась. Точнее – справилась частично и только на светлых участках изображения (опять-таки частично). Зато лица обработаны достаточно корректно.

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

А теперь минутка крипоты. Обратите внимание на фрагмент узора юбки внучки (для ЛЛ обведен кружком):

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Вот как-то так )).

ЗЫ: Баянометр предлагает что-то странное - от рыбной ловли в Екатеринбурге до службы в израильской армии :).

Показать полностью 5
1151

Хочу все знать #623. Шон Пенн, Аль Пачино и А. Шварценеггер в роли Труса, Балбеса и Бывалого

Тот момент когда Deep Fake тянет руки к советской классике)

Хочу все знать #623. Шон Пенн, Аль Пачино и А. Шварценеггер в роли Труса, Балбеса и Бывалого Актеры, Фильмы, Интересное, Deepfake, Нейронные сети, Хочу все знать, Кавказская пленница, Видео

В «Фейсбуке» появилось видео с культовой сценой из «Кавказской пленницы», в которой Трусу, Балбесу и Бывалому делают уколы.

С помощью нейросети лица Георгия Вицина, Юрия Никулина и Евгения Моргунова поменяли на лица голливудских актеров: Шона Пенна, Аль Пачино и Арнольда Шварценеггера. И выглядит это настолько правдоподобно, что подлог замечаешь не сразу!


Шон Пенн так и вообще, на взгляд, вжился в амплуа Труса один в один, а вот Аль Пачино и Шварценеггеру еще надо поработать над попаданием в образы. Хотя хладнокровие Железного Арни в этот раз сослужило ему добрую службу!

1545

Раскрашеный с помощью нейросети, первый фильм о московской жизни в 1896г

Съемка была сделана сотрудником компании братьев Люмьер Чарльзом Муассоном перед коронацией Николая II.

Впервые представлена на всеобщее обозрение восстановленная версия легендарной съемки конца XIX века на Тверской улице в Москве. Она была сделана сотрудником компании братьев Люмьер Чарльзом Муассоном перед коронацией Николая II, которая состоялась в мае 1896 года.

С помощью нейросети было восстановлено изображение, улучшено качество картинки и увеличена скорость воспроизведения до 60 кадров в секунду, что приблизило изображение к максимально естественному. Так же получилось удалить визуальный «шум», размытые кадры и другие дефекты исходной пленки, провести раскрашивание. Реставрированный ролик опубликован на YouTube. В результате создается полное ощущение того, что зритель оказывается в 1896 году на Тверской улице.

92

Ожившие портреты

Когда в Remini появилась функция оживления фото, я решил проверить приложение на знаменитых портретах. Результат потрясающий, делюсь с вами.

Живой Пушкин

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живой Лермонтов

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живой Гоголь

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живой Чехов

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живой Достоевский

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живой Шекспир

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живой Ван Гог

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живая Фрида Кало

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живой Суворов

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живая Мона Лиза

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живая девушка с жемчужной сережкой

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост

Живая девочка с персиками

Ожившие портреты Remini, Нейронные сети, Искусственный интеллект, Портрет, Гифка, Длиннопост
Показать полностью 9
Мои подписки
Подписывайтесь на интересные вам теги, сообщества,
пользователей — и читайте персональное «Горячее».
Чтобы добавить подписку, нужно авторизоваться.
Отличная работа, все прочитано!