Привет, Пикабу!
В 1951 году мой учитель Леонид Леонидович Семаго написал рассказ «Ошибка воробья». Он был орнитологом, кандидатом биологических наук, воспитал не одно поколение воронежских орнитологов (я в их числе). Умер в 2008 году.
Суть рассказа простая: автор ставит во дворе чучело болотной совы. Городской (домовый) воробей, который живьём сову никогда не видел, первым поднимает тревогу. Слетается толпа, атакует чучело. Потом кто-то понимает, что сова ненастоящая. Толпа мгновенно теряет интерес и расходится.
Л.Л. Семаго заканчивает вопросом: «Жаль только, потерял я в этой суматохе первого, что поднял тревогу. Как он себя чувствовал?»
Меня зацепило. Решил экранизировать. Целиком нейросетями. Бюджет — почти ноль рублей.
Стиль — акварель по мотивам Джона Джеймса Одюбона, великого натуралиста XIX века. До фотографии все орнитологи были художниками — рисовали птиц в разных пропорциях для науки. Мне хотелось, чтобы фильм выглядел как ожившая страница старой научной книги.
Что получилось
2 минуты 45 секунд. 10 сцен. От живой совы на болоте — до чучела во дворе и философского вопроса в финале.
А теперь самое интересное — как нейросети меня бесили
Сказать «нажал кнопку и получил шедевр» будет враньём. Это был ад перфекциониста.
1. Битва за вид совы. Нейросети обожают рисовать ушастую сову — у неё оранжевые глаза и длинные пучки перьев. У болотной — жёлтые глаза и пучков почти не видно. Разница критичная. Я потратил 47 итераций, чтобы заставить ИИ рисовать именно болотную. Пришлось вводить отрицательные промпты на латыни и жёстко фиксировать маркеры: «ярко-жёлтые глаза, круглый бледный лицевой диск без тёмной каймы».
2. Чучело, которое моргало. По сюжету сова во дворе — чучело. Абсолютно неподвижное. Но любая нейросеть при виде совы пытается её «оживить»: моргание, поворот головы, дыхание. Решение: сначала генерирую статичный кадр, потом анимирую только воробьёв. Зону чучела в маске движения ставлю на ноль. Работает, но не всегда — иногда всё равно моргнёт.
3. Воробьи-мутанты. В рассказе фигурирует домовый воробей. Нейросети упорно рисуют полевого — у него каштановая шапочка и чёрное пятно на щеке. В массовке это ещё допустимо, но в крупном плане — брак. Пришлось ввести правило: полевой воробей допустим, только если его не больше четверти стаи. И считать вручную: «9 воробьёв в кадре, 2 полевых — проходит».
4. Морфинг стаи. На длинных видео нейросети «устают» держать текстовые условия. Воробьи начинают сливаться с оперением совы, превращаться в каштановую массу. Решение: укоротить клипы до 2–3 секунд, маски движения только на воробьёв, остальное — монтаж и композитинг.
Из 153 материалов 71% ушёл в мусор по орнитологическому канону. 25 минут сырого материала превратились в 2:45 финального фильма. Каждый второй кадр пришлось спасать цветокором, ускорением или переворотом — вместо того чтобы перегенерировать заново.
Что я понял
Промпты отлично работают на статичных изображениях и коротких клипах. Но на длинных видео диффузионные модели «устают» и дрейфуют к своим внутренним паттернам. Промпт-инжиниринг — не панацея. Это один из инструментов. Для серьёзных проектов нужен пайплайн: промпты, маски, композитинг, пост-продакшн и человек-арбитр.
Вопрос к залу
Как думаете — сова у меня получилась болотная или всё-таки ушастая просочилась? Не стесняйтесь, критика приветствуется.
И если вы орнитолог или AI-художник — буду рад обмену опытом в комментариях. Кому интересны сами промпты и чек-листы — маякните, выложу отдельным постом.
P.S. Леонид Леонидович был бы удивлён, что его наблюдение за воробьями можно оживить нейросетями в виде мульта. Но я попробовал.