HyperDreamBooth использует HyperNetwork для генерации начального прогноза подмножества весов сети, которые затем уточняются с помощью быстрой доводки для высокой точности деталей субъекта. Этот метод сохраняет целостность модели и разнообразие стилей, при этом тщательно аппроксимируя сущность и детали субъекта.

Как это работает?

Основная идея за Lightweight DreamBooth (LiDB) - это дальнейшее разложение пространства весов ранга-1 LoRa. Это достигается путем обучения модели DreamBooth в низкоразмерном пространстве весов, созданном случайной ортогональной неполной базой внутри пространства весов низкого ранга.

HyperNetwork состоит из кодера Visual Transformer (ViT), который переводит изображения лиц в скрытые особенности лица, которые затем объединяются со скрытыми особенностями веса слоя, инициированными нулями. Декодер Transformer получает последовательность объединенных особенностей и предсказывает значения особенностей веса итеративным образом, уточняя начальные веса с помощью прогнозов дельты.

Результаты

HyperDreamBooth может генерировать новые художественные и стилизованные результаты различных субъектов с значительной редактируемостью, сохраняя при этом целостность ключевых черт лица субъекта

Общественное влияние

Эта работа направлена на то, чтобы предоставить пользователям инструмент для расширения их творческих возможностей и способности выражать себя через создания интуитивным образом. Однако продвинутые методы генерации изображений могут сложным образом влиять на общество. Наш предложенный метод наследует многие возможные проблемы, которые влияют на этот класс генерации изображений, включая изменение чувствительных личных характеристик, таких как цвет кожи, возраст и пол, а также воспроизведение несправедливого смещения, которое уже может быть найдено в данных для обучения предварительно обученной модели.

Узнать подробности вы можете на странице проекта - https://hyperdreambooth.github.io/

А мы с вами ждем реализацию которую можно будет использовать в Stable Diffusion!

Больше интересных новостей из мира нейросетей ты найдёшь в источнике - Арт-нейросети от Nerual Dreming

15 февраля 1921 года в чувашском селе Ямбулатово родился будущий Герой Советского Союза Семен Васильевич Коновалов.

До призыва в РККА в 1939 году смышленый парнишка работал почтальоном.

Войну Семен встретил в Литве, командуя на границе танковым взводом. После тяжелого ранения в августе 1941 года он попал в госпиталь, откуда в октябре убыл на должность инструктора в архангельский автобронетанковый учебный центр.

После десятка поданных рапортов с просьбой отправить его на фронт, весной 1942 года молодой лейтенант убыл в действующую армию. Командование поставило Коновалова на взвод тяжелых танков КВ.

13 июля 1942 года под хутором Нижнемитякин экипаж КВ-1 под командованием Коновалова, отражая прорыв превосходящих сил противника, уничтожил 16 танков, 2 бронетранспортера, и 8 грузовиков с пехотой.

После десятков безуспешных попыток заставить замолчать «плюющийся» смертью советский танк, немцам удалось поджечь КВ-1.

Объятую пламенем машину смогли покинуть командир экипажа, наводчик Дементьев и техник-лейтенант Серебряков, остальные четверо танкистов сгорели заживо.

Через сутки «изъеденный» снарядами и почерневший от огня танк нашли наши фронтовые разведчики, доложившие командованию, что экипаж Коновалова героически погиб уничтожив 26 единиц техники и прорву немецких солдат.

Три ночи танкисты шли к линии фронта, а вечером четвертого дня им улыбнулась фортуна. На окраине маленького села, обожжённая троица увидела стоявший в поле средний танк Panzerkampfwagen III и гогочущий рядом с ним экипаж. Судя по бессвязной речи, громкому иканию, и пьяному галдежу, немцы были «в лоскуты».

Подобравшись поближе к пьянчугам и дождавшись сумерек, наши танкисты менее чем за полторы минуты перекололи финками даже не успевших испугаться немцев.

Боекомплект у трофейного танка был полный, внутри нашлись сигареты, консервы, галеты и шнапс.

Кое-как напялив на себя залитую кровью вражескую форму, угонщики залезли в танк и по чуть-чуть двинулись к своим.

Феерическое появление в расположении наших войск немецкого танка под управлением трех «воскресших» танкистов, восхитило всех бойцов, ставших свидетелями этого чуда, кроме въедливого «особиста». Правда и сверх подозрительный контрразведчик, вскоре отстал от измученных Герове.

Когда Семен прибыл в краткосрочный отпуск домой к Маме и постучался на рассвете в окно, испуганная женщина отказалась открывать ему дверь, заявив, что ее сын погиб смертью храбрых.

31 марта 1943 года Семену Васильевичу присвоили звание Героя Советского Союза.

Войну комбат Коновалов окончил в поверженном Берлине.

После ПОБЕДЫ Герой работал на казанском «Заводе электронно-вычислительных машин».

4 апреля 1989 года Семен Васильевич скончался в Казани и был похоронен на Арском кладбище.