Наткнулась на годный инструмент для дипфейков с локальной установкой.
Репозиторий Rope на GitHub — это проект, направленный на создание реалистичных замен лиц в видео с использованием модели inswapper_128 из проекта InsightFace.
Главная особенность Rope — это удобный графический интерфейс (GUI), который упрощает процесс работы с заменой лиц для пользователей, не имеющих глубоких технических знаний.
Основные функции Rope:
Замена лиц: Основная задача Rope — это замена лиц на видео. В основном для киноиндустрии полезно, при создании визуальных эффектов, в виртуальной реальности и других творческих проектах.
Поддержка различных разрешений: Программа позволяет выбирать разрешение для вывода — 128, 256, 512 пикселей, так что можно настроить качество конечного видео в зависимости от ваших потребностей.
Улучшение качества изображений: В Rope интегрированы инструменты для повышения качества изображений, такие как GFPGAN и Codeformer, которые улучшают реалистичность замененных лиц.
Графический интерфейс: Удобный GUI позволяет легко загружать видео, выбирать и заменять лица, а также настраивать различные параметры без необходимости писать код.
Этика и законность: Разработчики подчеркивают, что программа должна использоваться ответственно и законно, с уважением к приватности и с получением согласия от людей, чьи лица используются. Ну типа если что, они не при чем ))
Для чего и кого нужен Rope:
Киноиндустрия и VFX: Создание реалистичных эффектов для фильмов и видеороликов.
Виртуальная реальность: Разработка контента для VR с реалистичной заменой лиц.
Творческие проекты: Использование в искусстве, рекламе и других областях, где важен визуальный контент. Про остальные сферы применения даже как-то писать не хочется, разве что про невинный пранк над знакомыми или детьми )
Пример использования:
Загрузка видео: Пользователь загружает видео, в котором нужно заменить лицо.
Выбор лиц: Программа автоматически находит лица в кадре, и пользователь выбирает, какое лицо заменить и на какое.
Настройка параметров: Можно настроить разрешение, включить улучшение качества и другие параметры.
Превью и рендеринг: В реальном времени можно увидеть результат и при необходимости скорректировать.
Как начать работу:
Установка: Скачать репозиторий, установить необходимые зависимости и модели, настроить виртуальную среду Python.
Запуск: Запустить GUI, выбрать видео и начать процесс замены лиц.
Подробная инструкция в YouTube на английском языке, но пусть вас это не смущает в 21 веке. Скачайте Яндекс Браузер, и будет вам счастье. Он автоматически переведет видео с Ютуб на русский язык.
Если кто-то знает еще годные способы перевода-дубляжа, поделитесь в комментах, вам плюсик в карму за вклад в общее дело) Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.
В общем, Rope это мощный инструмент для работы с заменой лиц, который может быть полезен в самых разных творческих и профессиональных проектах, где требуется высокая реалистичность и качество визуального контента.
Наш мир полон несовершенств, которые делают его уникальным и живым. Когда мы смотрим на природу, мы видим, как случайные события и хаос формируют окружающую нас реальность.
Ещё Марк Аврелий, римский император и философ подмечал:
На печеном хлебе местами появляются трещинки. Эти расщелины чужды основной цели искусства пекаря, но они придают хлебу особенно аппетитный вид. Плоды смоковницы лопаются, достигнув наибольшей зрелости, а в переспелых маслинах самая близость гниения сообщает какую-то особую прелесть плоду. Низко склоненные колосья, хмурое чело льва, пена, бьющая из пасти вепря, и многое другое, далеко не привлекательное само по себе, сопутствуя тому, что произведено природой, усиливает общее впечатление. Все это влечет к себе человека, обладающего особой восприимчивостью и более глубоким пониманием сущности целого.
Современные симуляции часто стремятся к идеалу, но теряют важный аспект реальности — её несовершенства.
Природа протекающих процессов
Но что такое несовершенства, как и природные процессы, которые они нарушают, по самой сути?
Стивен Вольфрам, автор небезызвестного Wolfram Alpha, известный своими работами в области вычислительных систем, однажды сказал: "All the wonders of our universe can in effect be captured by simple rules," что можно перевести как "Все чудеса нашего мира можно описать простыми правилами."
В этом преуспел Аристид Линденмайер, разработавший L-системы, которые используются для моделирования роста растений. L-системы следуют набору простых, но повторяющихся правил для создания сложных фрактальных структур. Эти правила позволяют моделировать природные формы с удивительной точностью и разнообразием.
Для упрощения понимания, давайте рассмотрим такой процесс, как рост папоротника.
Основные элементы L-системы:
Аксиома: Начальная строка, с которой начинается процесс.
Правила: Набор правил, определяющих, как каждый символ преобразуется на каждом шаге.
Пример L-системы для папоротника:
Аксиома: X
Правила:
X → F-[[X]+X]+F[+FX]-X
F → FF
Каждый символ "X" заменяется более сложным узором, а "F" заменяется на "FF", что удлиняет линии.
Процесс:
Начнем с аксиомы "X".
Применим правила преобразования.
На следующем шаге заменим каждый "X" и "F" согласно правилам.
Повторяем процесс несколько раз.
Визуализация: В результате этих итераций получается сложный фрактальный узор, похожий на листья папоротника. Компьютерные алгоритмы, такие как turtle в Python, могут визуализировать этот процесс.
Цветные 3д варианты визуализаций похожи на реальные растения
Хаос и порядок
Мне нравится, что таким образом, можно подумать вообще о природе целого.
Представьте, гигантское количество растений, которые растут на всей поверхности планеты каждую секунду, развивающихся по своим собственным уравнениям. И все эти системы развиваются друг рядом с другом, соприкасаются. И здесь начинается самое интересное - здесь Порядок встречает Хаос и порождает вариации. На каждое растение может повлиять множество факторов: ветер, яркие солнечные лучи, недостаток питательных веществ, случайно упавшая ветка, или даже дикие животные. Например, если кабан примнет растение, оно уже не будет выглядеть идеально по тому уравнению, которое описывает его рост (а возможно и само уравнение изменится, так например эволюционирует геном, адаптируясь под новую среду обитания - но это уже совсем другая история).
Эти несовершенства и случайности делают каждую вещь на земле уникальной. Каждое яблоко, каждый листик, каждый человек стремится стать идеальным, но в итоге они все различаются из-за хаоса реального мира и столкновения случайных факторов. Именно это и придает реальность происходящему - никакой процесс не проходит идеально и эти случайные события формируют неповторимую реальность.
Порядок встречает хаос и порождает вариации
Проблема симуляций
Современные симуляции часто стремятся к идеалу, что делает их неестественными и предсказуемыми. Процедурная генерация контента и физические движки как Unity или Unreal Engine позволяют создать красивые миры, но они часто лишены той случайности, которая делает наш мир таким интересным. Реальность симуляций слишком гладкая и предсказуемая, и это становится проблемой.
Пусть первый у кого не взлетали деревья в играх бросит в меня камень
Наш мозг способен на невероятные абстракции. Например, когда мы читаем книгу, мы можем представить дуновение ветра, прохладное утро или вкус еды, просто читая текст. Эта способность к абстракции позволяет нам воспринимать мир, основываясь на неполных данных. Однако даже при этом мы замечаем ошибки в симуляциях.
Наш мозг настолько гибок и адаптивен, что он может создавать полные картины из ограниченных данных. Но когда мы попадаем в виртуальную реальность, мы сразу же чувствуем несоответствия, потому что текущие симуляции не учитывают базовые параметры реального мира. Даже если мы добавим в игровой движок компонент, который невероятно реалистично моделирует рост папоротника и его соседей, это все равно не будет равнозначно гигантскому объему законов, которые правят в реальном мире.
Мой интерес к продвинутым симуляциям
Сейчас в разработке игр мы часто пытаемся решить отдельные компоненты, например, сделать дерево очень реалистичным или добавить приминание листвы, когда по ней ходят. Но это лечение симптомов, а не комплексное решение проблемы.
Вместо того чтобы создавать точечные решения, такие как невероятно проработанные модели растений или элементы гравитации, необходимо сначала разработать целостные системы, которые будут управлять всем миром. Эти системы должны включать базовые законы, по которым работает реальный мир. Когда эти законы заложены, они сами создадут случайности, динамичность и живость в симуляции.
Для создания действительно динамичных и живых миров, нужно учитывать множество факторов. Например:
Атмосферные явления:
Моделирование ветра: Ветер влияет на рост растений, движение объектов и климат. В современных играх, таких как "The Legend of Zelda: Breath of the Wild", ветер влияет на движение листьев, травы и даже на полет стрел.
Осадки и климат: Дождь, снег и другие погодные условия должны влиять на окружающую среду. В игре "Red Dead Redemption 2" погодные условия динамически меняются, влияя на поведение персонажей и животных.
Гидрологические процессы:
Приливы и отливы: Влияние гравитации Луны на уровни воды в океанах и морях, что влияет на экосистемы прибрежных зон.
Текущие и стоячие воды: Моделирование течений рек и озер, а также испарения и осадков.
Биологические взаимодействия:
Экосистемы: Взаимодействие различных видов растений и животных, конкуренция за ресурсы.
Пищевые цепи и хищничество: Как хищники и жертвы влияют на популяции друг друга. В игре S.T.A.L.K.E.R. используется система искусственного интеллекта A-Life, которая делает мир более динамичным и непредсказуемым. Например, мутировавшие собаки могут сбиваться в стаи и нападать на банды бандитов, что иногда приводит к тому, что игрок приходит в совершенно пустую деревню, потому что всех бандитов уже убили. Это создает уникальные сценарии, где экосистема и различные фракции взаимодействуют без вмешательства игрока, добавляя реализма и динамичности в игровой процесс
Физические взаимодействия:
Эрозия и отложения: Влияние ветра и воды на изменение ландшафта со временем.
Тепловое расширение и сжатие: Влияние температуры на материалы и их свойства. В игре "Frostpunk" игрокам приходится учитывать экстремальные погодные условия и их влияние на город и жителей.
Комплексный подход к разработке симуляций делает миры более реалистичными и живыми
А ведь это только системы которые относятся только к базовым законам мира и экосистем, мы ещё не говорим о дипломатических отношениях NPC в играх, о законах рынка и экономики, о том что одни города должны процветать, а другие должны исчезать. О том что если игрок выжгет все поля около большего города, его ожидает голод, или наоборот, если игрок периодически вкладывает астрономические суммы в малую деревню, она должна стремительно развиваться и разростаться, жители богатеть и крепнуть.
Разработка продвинутых симуляций, которые могут учитывать все эти тонкости и случайности, является моей главной целью. Я стремлюсь к созданию виртуальной реальности, где миры будут столь же динамичными и непредсказуемыми, как и наш реальный мир. Это включает моделирование взаимодействий между объектами, влияние внешних факторов и адаптацию к изменяющимся условиям.
Использование современных технологий, таких как процедурная генерация, игровые движки и искусственный интеллект, позволяет приблизиться к этой цели. Однако, чтобы действительно создать мир, в котором порядок встречает хаос и порождает вариации, необходим междисциплинарный подход. Это включает в себя знания из экологии, физики, компьютерных наук и искусственного интеллекта и многих других.
Заключение
Вы, возможно, думаете, что создание такой симуляции, которая учитывает все тонкости и случайности природы, невозможно. И это вполне естественное сомнение. Но давайте вспомним, как далеко продвинулись технологии за последние десятилетия.
Ещё 60 лет назад компьютеры, такие как IBM System/360, занимали целые комнаты и могли выполнять только простейшие вычисления. Сегодня наши смартфоны обладают мощностью, о которой тогда можно было только мечтать. Что уж там, мой первый компьютер 15 лет назад имел 256 мегабайт оперативки, а сейчас на моем самсунге s23 ultra умещается 12 гб, что в 48 раз больше и в тысячи раз больше чем на старых ЭВМ. Прорывы в области искусственного интеллекта, машинного обучения и вычислительных мощностей за последние годы поразительны. Технологии, которые позволяют создавать реалистичные 3D-игры даже на мобильных устройствах, сегодня доступны каждому.
IBM System 360
Прогресс технологий идет такими темпами, что то, что кажется невозможным сегодня, становится реальностью уже завтра. Первые транзисторы, изобретенные в 1947 году, были размером с человеческую руку, а сегодня миллиарды транзисторов помещаются на одном чипе. Например, NVIDIA недавно выпустила новый чип для машинного обучения Blackwell, который содержит 208 миллиарда транзисторов на одном чипе. Я пытался графически изобразить разницу между 208 000 000 000 и цифрой 1, но потерпел сокрушительное поражение, поэтому полагаюсь на ваше воображение.
Дженсен "Куртка" держит в руках мощности целого завода
Я убежден, что с дальнейшим развитием технологий мы сможем создать симуляции, которые будут учитывать все тонкости и случайности реального мира. Это захватывающая перспектива, и я намерен посвятить свою жизнь работе над этим. Верьте в прогресс и возможности будущего — и вместе мы сможем создать удивительные миры, которые будут столь же интересны и разнообразны, как наш реальный.
В Германии изобрели инновационный материал под названием Mulit-Immerse, чья толщина составляет всего 50 микрометров. Это чудо-ткань способно передавать ощущение прикосновений между устройствами, даря возможность людям, находящимся в разных городах, чувствовать присутствие друг друга 🤯
С новой разработкой, люди смогут ощущать тактильный контакт на расстоянии. Для этого достаточно погладить "умный" текстиль с датчиками, который может не только регистрировать, но и передавать тактильные данные. Второй аппарат, получив эти данные, воспроизведет прикосновение. Эту уникальную технологию уже внедрили в заднюю стенку наручных часов и протестировали на интерактивных перчатках. Эти перчатки могут имитировать ощущение прикосновения к кнопкам и ползункам на сенсорных экранах.
Эту технологию создали исследователи под руководством профессоров Штефана Зелеке и Пауля Моцки. источник: Саарский университет / Oliver Dietze
Ученые считают, что такая технология особенно полезна для детей, находящихся на лечении в больнице, позволяя им чувствовать физическую близость родителей, несмотря на расстояние. В сочетании с шлемами виртуальной реальности, это усиливает ощущения и делает взаимодействие на расстоянии ещё более реалистичным.
Использование такой ткани в VR-играх обещает совершенно новый уровень погружения и взаимодействия...
Если вам интересны новые технологии, полезные сервисы и новости будущего, добро пожаловать в ИИшница 🍳 - пища для ума в мире высоких технологий
Вы только посмотрите! Наконец-то Vision Pro начали использовать по делу, это идеальный помощник для обучения. В данном случае студент изучает человеческое сердце, так же можно обучиться игре на гитаре или узнать устройство автомобиля, например.
С помощью приложений 3D моделирования мы увидим, как будут учиться в будущем.
Видео для вас перевел канал ИИшница🍳 - публикую интересное из мира новых технологий и нейросетей
⚠️Иску́сственный интелле́кт (ИИ) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека, наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ.
1/3
⚠️Суперкомпьютер (СверхЭВМ, СуперЭВМ, сверхвычислитель) — специализированная вычислительная машина, значительно превосходящая по своим техническим параметрам и скорости вычислений компьютеры общего пользования.
1/3
СУПЕРКОМПЬЮТЕР
⚠️Виртуальная реальность ( VR, искусственная действительность) — созданный техническими средствами мир, передаваемый человеку через его ощущения: зрение, слух, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие. Для создания убедительного комплекса ощущений реальности компьютерный синтез свойств и реакций виртуальной реальности производится в реальном времени.
1/3
ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ
⚠️Портал — разрыв в пространстве-времени, искусственного или естественного происхождения, позволяющий материи мгновенно перемещаться между двумя точками пространства или времени. Также во многих произведениях жанра фэнтези портал представляет собой искусственно создаваемый проход, «коридор» или «окно» из одного места в другое (или даже из одного мира в другой).
Прошлое — часть линии времени, состоящая из событий, которые уже произошли.
1/3
ПРОШЛОЕ
⚠️Документальная фотография — ветвь фотоискусства, направление фотографии, художественная программа которого ориентирована на изображение достоверного. Центральная идея документальной фотографии — обращение к реальным событиям. В некоторых случаях документальная фотография формируется как обращение или призыв и подразумевает создание фотографического документа.
⚠️Архив - это совокупность архивных документов, а также архивное учреждение или структурное подразделение учреждения, организации и предприятия, осуществляющее прием и хранение архивных документов в интересах пользователей.
Будущее — гипотетический отрезок линии времени, множество событий, которые ещё не произошли, но могут произойти.
БУДУЩЕЕ
⚠️Создание мира, миропостроение — это процесс построения воображаемого мира, иногда связанного с целой вымышленной вселенной. Получившийся мир можно назвать сконструированным гипотетическим миром.
⚠️Миропостроение может быть спроектировано сверху вниз, снизу вверх или при комбинации этих подходов. Официальное руководство построения мира обозначают эти термины как «снаружи внутрь» и «изнутри наружу» соответственно. В нисходящем подходе дизайнер сначала создает общее описание мира, определяя общие характеристики: жителей мира, уровень технологий, основные географические особенности, климат и история. Оттуда они развивают остальной мир с возрастающей детализацией. Этот подход может включать создание основ мира, за которыми следуют такие уровни, как континенты, цивилизации, нации, города и поселки. Мир, построенный сверху вниз, имеет тенденцию быть хорошо интегрированным, с соответствующими компонентами, подходящими друг другу. Однако может потребоваться значительная работа, прежде чем будет завершено достаточно подробностей, чтобы сеттинг стал полезным, например, в качестве сеттинга для истории.
⚠️Возможно, самое основное соображение в построении мира — то, в какой степени вымышленный мир будет основан на физике реального мира в сравнении с магией. В то время как магия является более распространенным элементом фэнтезийных сеттингов, научно-фантастические миры могут содержать их магические или технологические эквиваленты.
Термин «worldbuilding» был впервые использован в «Эдинбургском обзоре» в декабре 1920 года и появился в статье Артура Стэнли Эддингтона «Пространство-время и гравитация: обзор общей теории относительности», чтобы описать процесс придумывания гипотетических миров с различными физическими законами.
⚠️ Возможно через несколько десятилетий, технологии продвинутся вперёд и произойдет новый этап в развитии возможности перемещения во времени...
Такую задачу поставил Little.Bit пикабушникам. И на его призыв откликнулись PILOTMISHA, MorGott и Lei Radna. Поэтому теперь вы знаете, как сделать игру, скрафтить косплей, написать историю и посадить самолет. А если еще не знаете, то смотрите и учитесь.
Нейросеть встроена в модель очков Ray-Ban. ИИ распознает то, что перед ней находится и отвечает на голосовые команды. На видео Марк Цукерберг просит нейросеть перевести мем с испанского на английский язык. Пара секунд и можно смеяться.
Первый тест
А первый тест ИИ был автоматически распознать рубашку в руках и предложить подходящие к ней брюки. И она справилась! GPT-4 Vision теперь в реальной жизни.
Подписывайтесь на ИИшница 🍳 - тут все самое интересное из мира новых технологий и нейросетей 🤖