Запрашиваете у нейросети открытку ко дню рождения с подписью «С днём рождения, Маша», а получаете «C дhём pождehя, Mаwа». Буквы кривые, слова — нечитаемая каша. Хотели открытку — получили современное искусство.

Это не случайность. Большинство моделей для генерации изображений обучаются на открытых датасетах, в которых русский язык представлен слабо. Английские надписи получаются плюс-минус сносно, а с русскими модель буквально не знает, как они должны выглядеть.

Мы взялись за эту задачу в Алисе AI и хотим рассказать, что получилось.

Что сделали

Собрали новый датасет — картинки с русскоязычными надписями и детальной разметкой текста. Параллельно переписали архитектуру модели Alice AI ART, которая отвечает за генерацию изображений.

В итоге картинки с корректным русским текстом — без кривых букв и нечитаемых символов — стали получаться в 3 раза чаще, чем раньше. Заодно подтянулось и общее качество: доля картинок без визуальных искажений выросла на треть.

Как пользоваться, чтобы получилось хорошо

Тут несколько простых приёмов, которые сильно повышают шансы на нормальный результат:

• Текст в кавычки. Если хотите конкретную надпись на картинке — напишите её в кавычках в запросе. Модель так понимает, что это именно текст, а не описание.

• Сложные слова — заглавными. Если слово длинное или редкое, заглавные буквы помогают модели не запутаться.

• Длинные надписи — на короткие фразы. Чем короче кусок текста, тем больше шансов, что он отрисуется без ошибок. Если нужна большая надпись, разбейте её на несколько частей.

С этими тремя приёмами уже можно делать постеры, афиши и открытки, которые не стыдно показать.

Заодно подтянули русский культурный код

Это, кажется, отдельная боль всех нейросетей: попросишь «русский народный ансамбль» — а на картинке люди, отдалённо напоминающие участников фолк-фестиваля где-нибудь в Скандинавии.

Мы дообучили модель на русскоязычных промптах и добавили систему, которая превращает общие запросы в более конкретные визуальные образы. Теперь по запросу «русский народный ансамбль» получаются гармонисты и балалаечники. «Традиционный русский праздничный стол» — это икра, соленья и самовар. А на иллюстрациях про космос появляются российские космонавты, а не безликие астронавты в скафандрах непонятной страны.

Где это работает

Новая модель уже работает в чате с Алисой AI — попробовать можно прямо сейчас.