Найден способ уверенно распознавать дипфейки?⁠⁠

Проанализируйте данное изображение при помощи вашей биологической нейросети. Что вы на нём видите?

В теории всё просто, но на практике может получиться так, что добавление этого критерия сделает обучение несходящимся. Улучшение визуальной похожести будет ухудшать гладкость спектрограммы, и наоборот. Из того, что я слышал от специалистов, нужно применять гораздо более хитрые решения — декомпозицию изображения на текстуру и структуру, использование специальных свёрток, раздельное обучение adversarial-сети на разных диапазонах частот и т. д.

Да вот если б всё было так просто) Вы бы знали, какой дьявол кроется за простым словом «нужных» в вашей фразе про нужные точки для сглаживания тепловой карты. Найти эти самые точки (а точнее, множества точек, потому что пиксели тепловой карты вообще не соответствуют пикселям реального изображения) — задача очень непростая, если вообще решаемая с учётом того, что сама картинка должна оставаться правдоподобной, а не уходить в зловещую долину.

...без колебаний в частотной области. Но никто не даст гарантии, что сама картинка при этом не будет похожа на неудавшихся клонов Рипли из Чужого-4)

Нет) Вы допускаете ошибку в самом начале ваших рассуждений. «Генерируем изображение в 4 раза больше» — и ровно этим порождаем новые артефакты, заметные на спектрограмме! Посмотрите статью, там на странице 5 показано, что даже такие банальные методы апскейлинга, как nearest neighbor и bilinear, формируют ярковыраженные следы. Так что на самом деле тем преобразованием, которым вы хотите сгладить спектрограмму, вы, наоборот, сделаете её ещё более «колючей». Просто здесь нужно не путать методы, которые могут визуально сгладить результирующую картинку, и методы, которые могут сгладить спектрограмму. Как я вижу по комментариям, очень многие не видят разницы.

Авторы этого исследования использовали рабочую станцию на базе Intel XeonGold 6230 со 192 ГБ памяти и четырьмя Nvidia Quadro RTX 5000. Так что они с некоторым скепсисом смотрят на ваши утверждения про 3070)

Их есть у меня! https://thesecatsdonotexist.com/

Вот потому мы и возвращаемся к началу. Уберёт всплески, да. И заставит человека на самой картинке выглядеть, как жертва десяти поколений инцеста)
Вы не забывайте, что эта тепловая карта не существует сама по себе, она неразрывно связана с конкретными деталями изображения. Меняете одно — неизбежно меняете и другое, причём довольно непредсказуемым образом.

Нет, это не так работает. При пересжатии тепловая карта, конечно, изменится, но всплески, выстроенные по прямоугольной сетке, сохранятся. Чтобы они стали совсем неразличимыми, нужно и саму картинку сжать до состояния жёваного шакала, но это уже сделает её бесполезной в качестве дипфейка.

А я сразу на волосы и фон смотрю, там всегда проблемы. Но это немного читерский способ. Если оставить только среднюю часть лица, да ещё и разрешение вдвое уменьшить — уже можно крепко задуматься.

Уже спрашивали выше. Проверка обнаружит ровно то же самое (ну, может, с незначительными флуктуациями). Потому что анализируется содержание фотки, а не её представление и не подлинность файла-контейнера.

Интуитивное понимание далеко не всегда бывает правильным, и это не тот случай) Вы в чём-то даже противоречите сами себе. «Частотный анализ проводится на основе содержания каждого пикселя» — верно. Но далее вы пишете «Достаточно подровнять значение определенных пикселей». Этих «определённых» пикселей будет почти столько, сколько всего пикселей в изображении. Именно потому, что, как вы сказали, каждый из них влияет на спектрограмму. Да, можно применить к ДКП «обычный» фильтр, который сделает ровно обратное преобразование и приведёт спектрограмму к некому образцовому виду. Но мы не можем предугадать, как это повлияет на само изображение. Скорее всего — катастрофически.
Многие здесь говорят, что нужно «просто» дообучить нейросеть дополнительно минимизировать ещё и разброс на спектрограмме. Но, если верить выводам из статьи, это ни разу не просто. При использовании архитектуры GAN мы столкнёмся с так называемой «трудной проблемой обучения», при которой нейросети нужно будет одновременно максимизировать два взаимоисключающих критерия — но она просто в в силу своей архитектуры не сможет улучшать один так, чтобы при этом не ухудшать другой. Обучение просто не сойдётся.

Программисты скрывали это годами! Чтобы распознать любой дипфейк, достаточно намазать простой советский...

Спектрограмма визуализирует то, как выглядит изображение после дискретного косинусного преобразования. Вот возьмём для примера ту картинку с буквой A и матрицей справа от неё. Чтобы получить изображение буквы A, нам нужно взять каждый из 64 узоров справа и наложить их друг на друга, как слои в фотошопе с разными коэффициентами прозрачности. Прозрачность задаётся числом, написанным на квадратике, и видно, вклад каких в результирующее изображение будет больше, а каких — меньше.

Квадратики, которые расположены ближе к левому верхнему углу, можно назвать низкочастотными. На первом из них вообще нет колебаний, на втором есть один полупериод колебания, на третьем — целый период, на четвёртом — полтора периода, и т. д. То есть чем правее и чем ниже, тем более высокая частота.

Так вот, эти квадратики с числами можно визуализировать и по-другому. Поставим каждому квадратику в соответствие один пиксель, яркость которого будет соответствовать написанному числу. Большие отрицательные числа станут тёмно-синими, большие положительные — ярко-жёлтыми, средние — оттенками красного. Это и будет наша тепловая карта.

Да-а! Я надеялся, что кто-то про это пошутит)

Крабовые палочки на переднем плане действительно не очень, но всё-таки нейросеть учили генерировать лица, а не пальцы. Вот положа руку на сердце, если убрать явно неудачную часть — разве не похоже на правду? Да вам каждый второй китаец скажет, что это его знакомая)

Ничего подобного. Похоже, вы как-то не так понимаете, откуда берутся эти артефакты на тепловой карте. Они являются неотъемлемой частью всего изображения в целом. Если вследствие печати и сканирования оно не слишком сильно потеряет в качестве, то сохранятся и эти артефакты. А чтобы они пропали, картинку нужно измочалить до состояния полной невразумительности.

Простите мне мою иронию, но мне кажется забавным, когда человек сначала говорит, что не разбирается в теме, а затем с большой уверенностью делает по этой теме какие-то заявления и судит о логичности других заявлений)

Вы хотя бы объясните, почему отдельно упоминаете фотографирование и оцифровку? Фото непременно должно быть аналоговым, на плёнку?

Действительно не поняли. Вы пытаетесь поставить участку фотографии в соответствие аналогичный по расположению участок спектрограммы. Но это вообще не так работает. То, что у фотографии и спектрограммы одинаковая форма и размер, это просто условность. Пиксели спектрограммы не соответствуют отдельным пикселям фотографии. Каждый из них содержит информацию об интенсивности колебания определённой частоты, собранную сразу со всего изображения. Короче, это просто принципиально разные форматы записи одной и той же информации. Пусть вас не смущает то, что они оба квадратные и расположены рядом.

Этого будет недостаточно. Чтобы отфильтровать прямо все всплески, картинку придётся сделать очень размытой, и она уже не сможет выполнять свою функцию как дипфейк.

Тут выше уже и ссылку на генератор кинули)

Во славу Сатаны науки, конечно же! Не у каждой разработки должно быть мгновенное прикладное применение. Тренируясь на таких задачах, можно отрабатывать архитектуры нейросетей, генерирующих более полезный контент. Можно создавать датасеты для обучения других нейросетей (скажем, распознающих лица).
Ну и, учитывая спрос на дипфейки с любимыми актрисами на сайтах определённой тематики, такие разработки как минимум ненадолго делают некоторых людей счастливее) Уже одного этого достаточно, чтобы они имели право на существование. А если нет, то и огромная часть человеческой культуры не имеет смысла.

коллектив исследователей из Института информационной безопасности им. Хорста Гёрца при Рурском университете в Бохуме

Да, это меня тоже удивило.

Этот новый JPG будет иметь те же характерные признаки, что и исходный. Они относятся к самому содержимому картинки, а не к файлу.

Природа иногда выдаёт артефакты не хуже нейросетей)

Сначала они сломали мозг, чтобы придумать автомобили. Теперь мудохаются, чтобы они не сбивали людей сотнями каждый день. У них что, не было чувака, который бы в самом начале задался вопросом, на кой хрен это всё нужно?

Сначала они сломали мозг, чтобы придумать ружья. Теперь мудохаются, чтобы из них не убивали всех подряд. У них что, не было чувака, который бы в самом начале задался вопросом, на кой хрен это всё нужно?

Сначала они сломали мозг, чтобы придумать, как добывать огонь. Теперь мудохаются, чтобы не было пожаров. У них что, не было чувака, который бы в самом начале задался вопросом, на кой хрен это всё нужно?

Ну что, «нетупой» вы наш. Не поленился, потратил утро и провёл небольшой эксперимент. Взял фейковое фото со спектрограммой, на которой явно виден характерный узор из высокочастотных всплесков. И просто переснял его с экрана на телефон. Следуя вашим представлениям,

спектогамма там должна быть от обычной фотографии

Действительно, ведь это уже совершенно новая, «честная» фотография, а не картинка, сгенерированная специальным алгоритмом. Но что же мы видим на спектрограмме? Даже несмотря на то, что фото сделано на дрянную камеру и с завалом в тенях, характерный узор очень хорошо узнаётся. Исчезли только самые высокочастотные всплески справа и снизу, но это и понятно, ведь переснятая картинка довольно замыленная, а при размытии именно высокочастотные участки уходят первыми. Всё, как я и говорил выше. Спектрограмма анализирует само изображение, и ей абсолютно неважно, как и чем оно было сделано и было ли оно переснято, кадрировано или повёрнуто. Если сама картинка остаётся узнаваемой, то и её характерные признаки останутся.

Вот потому я и не стал с вами спорить — это было бы просто неспортивно, и победа в таком споре никакой радости мне бы не принесла. Вы не просто некомпетентны в вопросе — вы некомпетентны настолько, что даже неспособны осознать уровень собственной некомпетентности. А уж деньги ваши мне тем более были бы не нужны. Это всё равно что у юродивого копеечку отнять.
В следующий раз, если захотите ввязаться в спор, потрудитесь хотя бы мало-мальски разобраться в вопросе, чтобы не выглядеть настолько же глупо, как сейчас.

Ничего подобного. Спектрограмма характеризует содержимое изображения, а не то, как и чем оно было сделано. А вы причину со следствием путаете.

Разумеется. Она покажет ту же самую картину. Откуда вообще при этом может взяться какая-то разница?

Не спектрограмму, а сам себя. Если сама картинка останется узнаваемой, то и спектрограмма её будет примерно такой же.

У фотошопленных фото будут другие особенности. Этот метод выявляет признаки, характерные именно для нейросетевых алгоритмов, которые основаны на повышении размерности. Вот в этом комментарии удачное пояснение: #comment_186720926

Если бы науку двигали комментаторы на Пикабу, мы бы уже, наверное, давно Марс колонизировали) Всё просто же!

Вы не смогли продемонстрировать ни того, что разбираетесь в теме, ни того, что являетесь интересным собеседником, ни того, что владеете логикой. Любого из этих фактов достаточно для того, чтобы не продолжать с вами общение.

Спорить на любую тему с человеком, который в ней не разбирается (по его же словам), неинтересно, да и и бессмысленно. Но я с удовольствием выслушаю от вас логическое обоснование того, почему неверны мои суждения о дипфейках и спектрограммах. О существовании такой вещи, как логика, мне известно.

Аналогия не совсем точная, конечно, потому что звук меняется во времени, а картинка статична. Но как иллюстрация разложения по частотам — подойдёт. 

Чувак, ты такой классный! Но пирожков у меня на полке нет.