В Лаборатории искусственного интеллекта MIT опубликовали Speech2Face — модель, которая реконструирует лицо человека по записи его голоса. Нейросеть обучалась на миллионах видеозаписей с YouTube, на которых демонстрируется разговор человека. Задача заключалась в том, чтобы понять, может ли голос отражать внешние характеристики его обладателя. Исследователи не фокусировались на том, чтобы точно реконструировать портрет человека по голосу, а на том, чтобы восстановить основные внешние характеристики.
Архитектура модели
На вход модель принимает спектограмму аудиозаписи голоса. Спектограмма — визуальное представление аудиоволн. На выходе модель отдает вектор размером в 4096 с характеристиками лица, который затем декодируется в изображение лица. Декодирование из вектора с характеристиками в изображение лица происходит с помощью предобученной нейросети.Обучалась модель на датасете AVSpeech. Для этой цели исследователи использовали предобученную VGG-Face.Пайплайн обучения модели можно разделить на два шага:

1. Кодировщик голоса, который принимает на вход спектограмму и предсказывает вектор с характеристиками лица человека;

2. Декодировщик лица, который принимает на вход вектор с характеристиками лица человека и генерирует лицо человека в стандартном формате (анфас и безэмоциональное)

Во время обучения декодировщик лица был зафиксирован и обучался только кодировщик голоса. Декодировщик лица исследователи взяли готовым из работы Cole et al.

Оценка работы модели

Нейросеть была протестирована с помощью качественных и количественных метрик. Во время экспериментов модель тестировалась на датасетах AVSpeech и VoxCeleb. Ниже можно, что чем длиннее входная аудиозапись (3 сек против 6 сек), тем выше количественная метрика и тем ближе сгенерированное изображение к истинному.

Здесь летают голубые чайки, а вода убивает растения — купаться в ней нельзя

Вода в золоотвале кажется такой же красивой, как на открытках с далёких морских курортов, но купаться в ней опасно
Всего в 10 минутах езды от Пединститута под Новосибирском есть маленькое озеро с невероятно голубой водой — даже в пасмурный день вода здесь словно на Мальдивах, однако купаться или даже просто помочить ноги в нём категорически запрещено. Это озеро — вовсе не природное чудо, а золоотвал, куда сливает отходы ТЭЦ-5. Несмотря на опасность и труднодоступность, место всё же манит любителей загородных прогулок — одни устраивают здесь фэшн-фотосессии, другие гоняют на мотоциклах, а третьи просто приезжают посмотреть на необычную воду. Корреспонденты прогулялись вдоль водоёма — здесь захватывает дух, но очень страшно оступиться, а сотрудники СГК рассказали, почему у воды такой цвет и что будет с кожей, если кто-то рискнёт окунуться.
Новосибирск не избалован красивыми видами — например, в том же Красноярске на городском автобусе можно доехать до «Столбов». Оттого новосибирцы готовы восхищаться даже промзонами, лишь бы там было что-то необычное. Одно из таких мест — золоотвал за ТЭЦ-5, наполненный ярко-голубой водой, как на открытках то ли с Мальдивских островов, то ли с Лазурного берега. Дорога от центра до удивительного озера занимает всего полчаса. Проехать можно либо по Выборной, либо через Первомайку. Узкая гравийная дорога рядом с селом Новолуговое постоянно извивается, а от проезжающих автомобилей пыль поднимается многометровым шлейфом — но даже тряска по колеям не останавливает любопытных.
К озеру ведут две извилистые дороги мимо дач, леса и кладбищаФото: Александр Ощепков

Крутой берег, бескрайнее небо и голубая вода, а купаться нельзяФото: Александр Ощепков

Озеро ничем не огорожено, даже знаков «Въезд запрещён» нет на пути. Стоит только свернуть с гравийки, как уже через 5 минут полевые дороги выведут к озеру, которое невозможно не заметить — ярко-голубую гладь видно издалека, словно она подсвечивается изнутри.

С холма виднеются многоэтажки Первомайского районаФото: Александр Ощепков

На возвышенности открываются невероятные виды — где-то вдалеке на город стеной идёт ливень, а здесь солнечно и искрится вода.

В разных частях золоотвала вода имеет разный оттенок — возле берега она прозрачная, а где-то почти бирюзоваяФото: Александр Ощепков

Вода с переработанными отходами поступает в котлован по трубам — они идут вдоль всего периметра водоёма, а столь яркий цвет ей придаёт кальций.
«Практически на всех золоотвалах ТЭС, работающих на буром угле, при большой глубине от 1–2 метров от поверхности золы и шлака, которые хранятся в золоотвале, наблюдается такой эффект. Это связано с растворенными солями кальция и других оксидов металлов в такой воде, а также высоким рН, более 8, такой воды», — объясняют представители СГК, почему вода в золоотвале отливает лазурью.
По фотографии не скажешь, что это Новосибирск, а не МальдивыФото: Михаил Решетников

Накануне фотограф Михаил Решетников устроил съёмку с девушками в купальниках на берегу золоотвала — при удачном ракурсе сразу и не поймёшь, что это не элитный морской курорт, а промзона под Новосибирском.
«Когда подъезжаешь к этому озеру — там очень сильный запах стирального порошка, щелочи. Когда вниз спускаешься, то запаха нет, но, естественно, нет никакого желания трогать такую воду. Чувствуется, что это небезопасное место», — описывает поездку Михаил Решетников.

Отложения кальция вдоль берега напоминают морскую пенуФото: Александр Ощепков

Место только на первый взгляд кажется безлюдным. Тишину нарушает внезапный грохот мотора — двое мотоциклистов катаются по косе, пока их ждёт компания в автомобиле. Увидев издалека приближающихся журналистов НГС, отдыхающие быстрее кинулись уезжать с берега, ведь озеро — это режимный промышленный объект, где могут находиться только сотрудники ТЭЦ, прошедшие инструктаж. Но раз двухметровых заборов нет, то никого не останавливает опасность.

Всё же даже самых смелых в «Сибирской генерирующей компании» предупреждают: купаться здесь — себе дороже.
«Гулять по золоотвалу — как гулять по военному полигону, опасно и нежелательно, так как это не просто водоем, а гидротехническое сооружение. И это не городской пляж — спасателей на берегу тут нет и быть не может. <...> Вода в золоотвале не питьевая, а техническая, то есть содержит растворенные соли кальция и других оксидов металлов, а также высокий рН. Эту воду используют только для транспортировки золы. Контакт кожи с такой водой может привести к местным аллергическим реакциям из-за большой минерализации», — поясняют в СГК.
По словам тех, кто уже бывал на золоотвале, подошва сандалий отслаивается после прогулки вдоль водыФото: Александр Ощепков

Птицы на золоотвале словно не замечают, что здесь что-то не такФото: Александр Ощепков

Голубые здесь даже чайки, но всё же неясно — окрасила ли вода крылья птиц, или это всего лишь отражение. Птиц здесь немало: повсюду раздаются вечно возмущённые вскрики чаек, огромные коршуны кружат, то и дело стремительно пикируя вниз за добычей, а крохи-ласточки превратили обрыв в огромную птичью коммуналку.

Вдоль берега растёт много цветов, но стоит воде прикоснуться к травинке, как та сразу вянетФото: Александр Ощепков

Деревья в щелочной воде долго не живут — всё, что попадает в зону подтопления, вскоре засыхает. Пара десятков высохших деревьев и кустов торчит над непроницаемой гладью.
Оседающий кальций засыхает на побережье причудливыми формами, словно крошечные коралловые рифыФото: Александр Ощепков

В СГК утверждают, что по результатам многочисленных проверок радиационный фон на золоотвале сейчас в норме
Фото: Александр Ощепков

Издалека место кажется очень уютным — людей мало, а виды кажутся природными
Фото: Александр Ощепков

источник