Проверяйте описание скриптов, а то еще накачаете всякого ЗППП по национальному признаку.

Вы когда-нибудь замечали, что цифровые персонажи иногда делают неестественные движения при разговоре?

Loopy - это диффузионная модель с открытым исходным кодом, призванная решить эту проблему, используя только аудио для создания видео с говорящими или поющими персонажами.

В отличие от традиционных моделей, Loopy фиксирует длительное движение, благодаря чему получается более плавная и естественная анимация.

Она улучшает мимику и аудиовизуальную синхронизацию, обеспечивая более реалистичное восприятие цифровых персонажей и виртуальных взаимодействий.

Я заметил, что эта модель создает вполне реалистичные видео, так как движения головы, выражения лица и движения губ выглядят максимально естественно.

Источник: ТГ-канал про нейросети

Но нет. Проблема в том, что это не разработка с нуля, а некрофилия, переделывается / дорабатывается очень специфический проект, с тонной кода, написанного очень давно (и писался он не один год), и все это под DOS (великий и ужасный). Используемый компилятор (DJGPP) тоже DOSовский, динозаврически-мутантный, и нормально запускается он только в Винде не новее Windows XP, и только в 32хбитной (хорошо еще, что хоть в ней запускается, а не в "голом" ДОСе). (Для въедливых: да, DJGPP можно запустить и под DOSBox. Но при этом требуется специальная сборка последнего, с реализацией поддержки LFN в прерывании int21H, как делает Win98 и ХР32. Но на таком большом количестве файлов она мало того, что тупит неимоверно - компилирующийся под виртуалкой несколько секунд проект в досбоксе компилируется до пяти минут - и это даже не полноценный рабочий, а мелкий тестовый субпроект; но даже не это главное, а то, что в придачу эта версия DOSBox как-то лажает с записью на диск, возможно - потому что открыто много файлов, может еще по какой-то неясной причине, но в итоге exe на выходе получается битый. Побороть не смог).

Соответственно, все это вынужденно делается под виртуалкой, с установленной ХП. И под ней версия GITа, который можно скачать на их сайте, не запускается (что забавно, при этом на самой странице загрузки я не нашел минимальную требуемую версию Винды. Пытливые умы могут попробовать найти самостоятельно https://git-scm.com/download/win , может и вправду, плохо глядел) .

Однако, это можно примерно выяснить и самостоятельно. При попытке запуска git-cmd.exe появляется такая ошибка:

И на https://learn.microsoft.com/ читаем, что:

То бишь, не светит запустить свежий клиент под ХП никак. Полез в репозиторий самого гита на гитхабе - но бинарников под Винду более старых нет, да и непонятно, какая именно версия последняя поддерживала ХП.

В этой связи, возникает два вопроса:
1) можно ли где-то нарыть версию клиента GIT, запускающуюся под 32хбитной ХР? И будет ли она работать с Гитхабом?

2) есть ли какой-то аналог (с возможностью иметь репозиторий в облаке, и желательно, конечно, халявный), клиент которого совместим с ХП?

Пока мне в голову приходит только одно костыльное решение - поставить Гит не в виртуалке, а в физической машине, и каждый раз по окончанию работы скриптом выкидывать все исходники "наружу" из виртуалки в физическую машину, и напускать гит. А перед работой - обратный процесс: гит - переброс в виртуалку. Но такое количество дрочки вприсядку + потери времени каждый раз на синхронизацию... Не радостно.

P.S. я не буду обсуждать, что это за проект, зачем его делать, почему нельзя его собирать в другом компиляторе, почему не переписать его полностью под Винду с использованием свежих стильных, модных, молодежных библиотек и т.д. Просто скажу, что это все уже обдумывалось и оценивалась трудоемкость процесса. Ответ - да, нельзя, непродуктивно, дорого, в разу дольше дольше, неэффективно, лишено осмысленности, в том числе в финансовом плане.
Если так будет проще субъективно абстрагироваться от данного вопроса - считайте, что дед это делает на спор, и другие варианты не рассматривает.

Проект собрал уже более 2700 звезд на GitHub и включает следующие ключевые элементы:

1. Voice Activity Detection (VAD): Модель использует Silero VAD v5 для обнаружения активности голоса и управления процессом обработки.

2. Speech to Text (STT): Для преобразования речи в текст применяется Whisper, включая его оптимизированные версии, такие как Distil-Whisper.

3. Language Model (LM): Полностью модульная часть, позволяющая использовать любую доступную на Hugging Face Hub языковую модель.

4. Text to Speech (TTS): Для преобразования текста обратно в речь используется Parler-TTS, с возможностью применения различных предварительно обученных и многоязычных контрольных точек.

Этот проект особенно интересен благодаря своей модульности. Каждый компонент реализован как отдельный класс, что позволяет пользователям легко адаптировать модель под свои нужды. Интересно и то, что эта модель поддерживает динамическое переключение языков с задержкой всего в 100 миллисекунд, что делает её подходящей для многоязычных приложений.

Для работы с моделью можно использовать как локальный режим, так и серверную конфигурацию. Поддерживается работа с Docker, а также предусмотрены оптимальные настройки для пользователей Mac. Код открыт для модификации, и каждый может экспериментировать с различными конфигурациями, чтобы найти наиболее подходящее решение для своих задач.

Все детали и инструкции по установке доступны в репозитории на GitHub.

______________________________________
Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.