Нейросеть научили убирать ананасы с пиццы⁠⁠

Американские разработчики представили pizzaGAN — алгоритм, который умеет пошагово рисовать изображение пиццы, добавляя или убирая отдельные ингредиенты (в том числе может убрать с пиццы спорные кусочки ананаса). Архитектура такой системы основана на генеративно-состязательной нейросети, каждый слой в которой меняет предшествующее изображение, добавляя на него новый ингредиент. Подробности о работе алгоритма описаны в препринте, опубликованном на arXiv.
Сегодня алгоритмы, основанные на работе нейросетей, умеют достаточно качественно составлять изображения объектов на основе текстового описания. Это касается, например, рецептов блюд: подобный алгоритм в начале года представили израильские ученые. При этом понимание того, как выглядит готовое блюдо, не означает, что информация о приготовлении блюда доступна: для этого необходимо понимать пошагово, как готовится блюдо, что произойдет, если один ингредиент убрать, а другой — добавить, и как изменится цвет, консистенция и вид продукта при термической обработке.
Такой алгоритм решили разработать исследователи из Массачусетского технологического института под руководством Дима Пападопулоса (Dim Papadopoulos). Они решили сосредоточиться на пицце — блюде, которое подразумевает достаточно простой порядок приготовления из нескольких ингредиентов. Для этого они создали pizzaGAN — разновидность генеративно-состязательной нейросети, каждый слой в котором используется для добавления отдельного ингредиента или другого этапа приготовления блюда. Такая архитектура позволяет не только добавлять ингредиенты в пиццу, но и откатывать ее приготовление на шаг назад, имея пример того, как выглядело блюдо без него.
Для обучения модели исследователи создали датасет «синтетической пиццы» — цифровых изображений пиццы с различными начинками, расположенными на пицце в определенном порядке. Каждая начинка представлялась в виде специальной маски ингредиентов: как они расположены на блюде и сколько их. Для создания итогового изображения пиццы использовались реальные фотографии блюда.
В результате алгоритм научился достоверно добавлять ингредиенты на пиццу и убирать их, а также показывать, как та или иная пицца выглядит до и после приготовления в печи. Датасеты с «синтетической» и реально пиццей, примеры того, как меняется изображение при добавлении и исключении ингредиентов, а также изображения до и после приготовления пиццы в печи доступны на сайте проекта.
Успехов разработчики добились и в выполнении обратной задачи: два года назад исследователи представили алгоритм, который умеет составлять примерный рецепт блюда по его фотографии.
Источник