Как MTS AI создаёт постеры для KION
Классная новость: 24 октября прошёл финал IT-олимпиады True Tech Champ. Его частью стали лекции экспертов МТС и других компаний.
Андрей Дугин, руководитель группы видеоаналитики в MTS AI, рассказал о проектах для онлайн-кинотеатра KION. Делимся интересными моментами, а полностью эта и другие лекции доступны на сайте олимпиады.
MTS AI — один из лидеров в области искусственного интеллекта. 200+ экспертов уже реализовали 20+ проектов в таких сферах как NLP, Gen AI, CV, OCR, RPA. А ещё мы обучаем нейросети на самом мощном в телекоме суперкомпьютере!
Проекты для KION
Для онлайн-кинотеатра мы уже реализовали такие возможности:
1. Пропуск титров и заставок
Используем нейросети, чтобы узнать, в какой момент показать кнопки «Пропустить титры» и «Пропустить заставку» и сколько времени занимают эти блоки.
2. Super resolution
Научили нейросеть увеличивать разрешение видео.
3. Определение места для рекламы
Чтобы реклама не раздражала, она не должна разрывать сюжет. Её можно вставлять на стыках макросцен и при условии отсутствия речи в кадре. Мы применяем алгоритмы поиска смены сцен и анализируем аудиодорожку для обнаружения речи.
4. Распознавание актёров
Когда вы ставите фильм на паузу, вокруг лиц главных героев появляются рамочки. Нажав на них, можно увидеть фамилию и имя актёра, а также ссылку на его фильмографию.
Как это работает? Мы получаем от KION задание со списком имён и фамилий основных актёров, которых нужно распознать. Идём в поисковики картинок, потом с помощью движка VisionLabs анализируем лица в найденных фото и получаем дескрипторы. Остаётся обработать весь фильм (найти и распознать все лица в каждом кадре!) и записать файл с разметкой JSON, который в дальнейшем также будет использован в генераторе постеров.
Как создаются постеры
Генерация постеров для сериала — выбор наиболее удачного кадра из серии для её обложки. Наша задача — из сотен тысяч кадров выбрать всего один лучший.
Он должен быть:
чётким
без титров и надписей
с одним, двумя или тремя героями
лица в анфас, с открытыми глазами и нейтральными эмоциями
с удачной композицией
хорошего качества
Процесс двухступенчатый: сначала мы собираем короткий ролик из 150 кадров-кандидатов, а затем отбираем единственный постер.
За основу принимаем гипотезу «Лучшие кадры — статические». Обычно это хорошо срежиссированные моменты, в которых оператор на мгновение фиксирует камеру, а актёр — эмоцию. Чтобы их найти, мы последовательно сравниваем пары кадров (вычитаем из одного кадра другой, берём разницу по модулю и считаем среднее). Если цифра велика — между кадрами большая разница или смена сцены.
Далее отбираем кадры по присутствию в них главных героев, резкости, фотографическому качеству и даже оцениваем композицию с помощью оригинального использования нейросети. Все эти параметры сводим вместе и выбираем лучшее изображение, которое и станет постером серии. А для фильмов можем собрать лучшие кадры в zip-архив, чтобы дизайнеры могли создать альтернативный постер.
Так из самых ярких и интересных кадров получаются постеры для KION, которые привлекают внимание зрителей и становятся визитными карточками сериалов и фильмов.