feeld

У меня была задача, сделать такого милого робота, который будет помогать пользователям разбираться в сервисе ну и может иногда выступать в роли какого то публичного лица скажем так, грубо говоря Маскот. Поскольку я часто работаю с нейронками по основной своей сфере, решил попробовать полностью новый пайплайн только через них. Так то раньше я бы занялся сбором референсов, моделингом, риггингом, анимацией, светом, рендером, монтажем, постобработкой всего этого в афтер эффекте и валерьянкой от его вылетов, но в современную эру, можно все эти действия на недели 2-3 сократить до пары часов и получить приемлимый или очень хороший результат.

Что использовалось в задаче?

• ChatGPT Image 2.0

• Claude Opus 4.7

• Seedance 2.0

• After Effects 2026

А последовательность была такая.
Сначала, я в голове у себя придумал идеи деталей, мне важны были формы, какие уши будут, руки ноги, экраны + поискал похожее в интернетах. Попросил Клода (можно наверное и того же GPT) сгенерировать сначала структурированную идею из моих заметок, а потом промпт, для GPT (или себя же) что бы отрисовать в T-Pose (это важно) то, что мне нагенерировал. Ну и дальше все просто. Закинул этот промпт в GPT Image, получил на выходе вот такой результат.

Следующим промптом, я уже взял это изображение, и попросил сгенерировать этого же персонажа, только в профиль

Ну и последним промптом для подготовки к основному действию, я попросил сгенерировать универсальную позу, для переходных состояний. Это та самая поза из которой начинается любое действие и ею заканчивается. Важно это зафиксировать именно в изображении, что бы у Seedance не было соблазна каким то образом выдумать это.

Ну и в целом, подготовительная часть с визуалом робота - закончена. Дальше, мне надо было придумать небольшое количество сценок, для сервиса в целом.

• Сцена с поездкой в отпуск

• Сцена с кошельком

• Сцена с получением большого количества данных

• Сцена со скачиванием приложения или указанием персонажа на него, важно сохранить UI приложения внутри видео.

• Сцена приветствия

• 3 Idle сцены, разной длины и характера.

Со всеми этими сценами, я снова пошел в Claude. Постарался расписать каждую из них максимально подробно и указал что мне на выходе нужен промпт, для Seedance. На выходе получил вот такое:

Ну и как видно, персонаж на всех видео получился консистентным и постоянным. Единственная ошибка - масштаб удаления персонажа от камеры, он немного разнится от видео к видео, но это не беда, так как дальнейшие действия в After Effects позволяют это исправить. Тк все равно нужен Keying/Маскирование и удаление фона. + небольшая цветокоррекция переходов.

Основной секрет того, что бы персонажи были постоянными, четкими и никогда не видоизменялись, это референсы. При каждом упоминании в промпте слова персонаж, или какого то ссылания на него, я прикреплял через @Image нужное изображение которое является референсом, это помогло в каждом ролике сделать одного и того же персонажа не видоизмененным.

Мы можем указывать какие кадры использовать для начала и конца, это позволит нам дальше бесшовно соединить это в единую State Machine, для различных ситуаций.

Ну и конечно, сам промпт для Seedance (не существует магического промпта сделай красиво) - должен быть максимально подробным. Вот на примере стула, я указывал даже с какой стороны у стула спинка. Нейросеть - максимально прямолинейна, если это не указано - она выдумает(и не правильно), поэтому в своих промптах, расписывайте всё. Свет, ракурс, удаление от камеры, запрещайте спавнить предметы в кадре без анимаций (если так не нужно) и тд.

Финальный результат вот такой. Осталось полирнуть код, состояния переходов и прочие маленькие ньюансы. Но результат у современных нейросетей - впечатляющий.

Бот по прежнему работает, бесплатно и без регистраций, абсолютно. Теперь с исправлениями из комментариев и новыми возможностями. Потестить можно из первой части поста.
К сожалению, я не могу гарантировать вечную работу бота, в связи с блокировками, замедлениями и тд. Тк проект не коммерческий, я размещаю его на бесплатном сервере внутри РФ, пока что, всё работает. Но рано или поздно - может уже и перестать.

Из за всех блокировок, засел делать отдельное приложение уже, да и давно хотел в мобильную разработку.Сейчас есть веб-версия и iOS (работает оффлайн, онлайн - по желанию).

Все работает по той же логике. Перенес все в iOS - без ограничений телеграмма.

Добавил немного вещей под поездки из РФ - подсказки по странам, оплате и т.д, чисто что бы быстро понимать что при планировании отпуска понадобится. Интерфейс постарался сделать современным, скрины ниже.

Онлайн-функции тоже есть, но они не обязательны. Никакой рекламы, кстати тоже нет.

Для меня это скорее хобби, делаю в свободное время и просто делюсь. Сам пользуюсь каждый день, в процессе постоянно что-то меняю и допиливаю.

Если вдруг кому интересно — можно посмотреть/потестить: тут - если есть желание и вам это в целом интересно, можете накидать в комменты конструктивной критики по дизайну или работе самого софта.

К сути поста. В моей хоумлабе, в добавок бэкэнду, фронтэнду и прочим микросервисам, была развернута Ollama, в которой поднята одна из локальных моделей которая на вход, умеет принимать изображения к тексту. Тут модель подбирается индивидуально под каждое железо и требования, поэтому советовать не могу.

В наличии данные: Координаты в мире, размеры габаритов, названия районов обозначенные различным количеством координат, иногда строгие паттерны названия которые не нарушаются, сама модель + текстуры для неё со своими названиями, а так же превью сделанные нашим микросервисом. Задача для нейронки, простая. На вход подаются все эти данные в сыром виде, а на выходе, я ожидаю JSON в строгом формате тегов, с баллами для каждого. То есть условно если нейросеть, распознает очевидно Рубашку - это будет рубашка с 1.0 весом, и дальше уже она опишет цвета, и прочее прочее прочее. Так же есть дальнейшая верефикация резульата и причесывание самим бэкэндом. Анти-галлюцинации некие. Когда нейронка начинает выкидывать по 100 тегов подряд одного и того же слова.

В итоге получаем следующий результат на картинке ниже. Зеленые теги - полностью работа нейросети + бэкэнда и довольно простых алгоритмов.

Сроки и время.
Тут все зависит от железа. Я запускал сей процесс на 3060 Ti и подобрал наиболее эффективную модель. на 30 тысяч уникальных пропов ушло порядка 1.5 суток. Дальше было дело техники, просто сделать алгоритм "Похожие" и правильный поиск по тегам. Далее, сами художники уже когда что то искали, то у них была возможность дополнить теги своими.

По итогу когда уже появился полноценный функционал "похожее", меня обвинили что я сделал какое то подобие Тик-Тока. Можно бесконечно ползать и смотреть похожие модели и текстуры. И это было здорово.

Если дочитали - благодарен вам. Но позволю себе привести ещё один пример удачного на мой взгляд применения нейросети уже в своем нынешнем проекте.

Это OCR. Распознование чеков на любом языке через фото. Это довольно удобно, потому что убирает необходимость алгоритма выше, вообще. Достаточно сфоткать чек и дальше, я постарался на выходе получать все возможные данные из чека. Геопозицию, товары, сумму, конкретную стоимость, автокатегоризацию и тд. По сути тоже самое, вкидываем нейросети фотографию + описание из тех данных которые есть и тд.

Да, этим алгоритмом никого не удивишь. Но это довольно мастхэвная штука в приложении для путешествий, которая наконец то работает надежно и точно. Сейчас я бьюсь над тем, что бы попробовать перенести его из "больших" нейросетей, в локальную плоскость на Apple Intelligence, но это довольно сложная задача, пока стараюсь исследовать и думать над этим.

Ну а пока, описанное выше попробовать можете вот тут, если захочется. https://triplet-app.com/

Стоит ли писать в таком формате и рассказывать о каких то своих наработках, было бы вам такое интересно?

И спасибо за прочтение и тех кто дочитал сей длиннопост до конца.

Изначально я хотел оформить всё на свой старый основной Apple аккаунт. Но там с самого начала всё пошло как-то криво. Кнопка Enroll в приложении Developer была просто неактивна, и меня отправляло проходить регистрацию через сайт. Окей, думаю, не проблема.

Карты для оплаты зарубежных сервисов у меня есть, они рабочие, проверки проходили. Но дальше начиналась какая-то мистика. После ввода реквизитов не происходило вообще ничего. Ни письма, ни списания, ни внятного статуса. Просто пустота.

Я несколько раз пробовал заново. Писал в поддержку. Ждал. Потом снова пробовал. Потом снова писал. И так по кругу. В итоге почти два месяца я периодически возвращался к этой теме и каждый раз упирался в одну и ту же стену.

Потом, как это обычно бывает, начитался форумов, советов, комментариев и решил, что, может быть, проблема в регионе аккаунта. Попробовал другой аккаунт, другой регион. Но и это тоже ничего не дало. Оплата просто не проходила.

Что в итоге сработало.

Я создал новый российский Apple аккаунт. И вот тут внезапно случилось чудо. Кнопка Enroll в приложении Developer оказалась активной. Оплата участия в программе разработчика спокойно прошла со счета мобильного телефона. Уже на этом этапе я, честно говоря, подумал, что всё, наконец-то победа.

Но нет.

После оплаты аккаунт не активировался. Ни через сутки, ни через двое. Я завел тикет в поддержку, но он просто повис без ответа. В итоге прошло 6 дней, и, судя по ощущениям, я мог бы ждать еще столько же.

Помог только международный звонок в поддержку.

На английском, максимально просто, объяснил ситуацию. Сказал, что оплатил тогда-то, аккаунт такой-то, активации нет. И буквально через несколько минут аккаунт активировали. Без долгих разговоров, без цирка, без “пришлите еще 12 документов”.

Так что совет очень простой. Если оплатили и активации нет, не надо неделями сидеть и надеяться. Запрашивайте звонок. Именно звонок, а не только email. И лучше сразу на английском.

Сейчас аккаунт уже активен, у меня появился доступ к App Store Connect, я начал разбираться со всей этой кухней, но, разумеется, на этом приключения не закончились.

Вылез следующий вопрос. У меня не появился Paid Apps Agreement. А без него, насколько я понял по документации и по тому, что пишут, нормально двигаться в сторону платных приложений, подписок и встроенных покупок уже не получится. Этот вопрос я тоже отдельно отправил в поддержку и сейчас жду, что ответят.

И вот здесь начинается уже следующая головная боль.

Я изначально хотел не просто выложить приложение, а еще и понять, как его нормально монетизировать. Но если Paid Apps Agreement недоступен, то схема с платными функциями, подписками и всем остальным становится очень мутной. Плюс сейчас ходят новости, что с 1 апреля может пропасть пополнение Apple ID через счет мобильного телефона. Насколько это реально окажется правдой, скоро увидим. Но в любом случае ситуация не самая приятная.

Отдельный вывод, который я для себя уже сделал. Внешние платежки в iOS — это не история в стиле прикрутить платежку внешнюю и всё. Там все сильно сложнее, и просто так делать свою оплату внутри обычного приложения, насколько я понимаю, нельзя.

Зачем мне вообще всё это.

Я делаю приложение для учета расходов в поездках. Смысл очень простой. Быстро записывать траты, понимать, сколько уже потрачено, сколько осталось, хватит ли бюджета до конца поездки и не сидеть вечером вдвоем вспоминая, кто и где оставил последние деньги.

Пока приложение еще не доведено до релиза и не выкачено в App Store, я тестирую саму механику через Telegram-бота. Он уже рабочий и самое главное, содержит в целом все основные механики, пусть и не в такой красивой обертке. Если кому то интересно попробовать механики и как это работает то вот ссылка:
https://t.me/travmon_bot

Как только закончу бета тест приложения и сервиса, обязательно напишу статью о том, как прошел процесс модерации приложения, где я накосячил и как исправлял, что стало по итогу с монетизацией приложения и прочие подводные камни. Тема узкая, но я столкнулся с тем, что либо рекламные статьи, либо покупка аккаунта либо ещё какая то очень серая фигня.

ну и если у кого-то был похожий опыт с Apple Developer, особенно с Paid Apps Agreement, напишите в комментариях пожалуйста. Интересно понять, это у меня частный случай или уже стабильная история для наших аккаунтов.

Фотографирую редко, для себя в основном. Но тут решил выложить и сюда. Фото на Sony a6400 / 16-55

Собственно первое что вам нужно будет сделать, это задать даты и страну поездки. Бот сам определит валюту страны прибывания, а так же подтянет курс относительно рубля (в последствии вы можете сам и его скорректировать).

Далее, задайте ваш бюджет в окне бюджета. При желании можете воспользоваться более сложными подсчетами, в виде двойной конвертации (RUB->USD->JPY) например. И вписать для каждой валюты курс по которому меняли. Бот учтет это в тратах. Либо положиться на публичные усреднённые курсы валют и не делать ничего.

И всё. Дальше просто можете писать ему траты в различных форматах.

• Рамен 1200

• Камера 100$

• 1000

• Камера 1000 RUB и очки 200 руб

Бот поймет и выдаст вам примерно такое сообщение. Тут уже если у вас есть желание и время, можете уточнить категорию (некоторые категории определяются автоматически), задать геолокацию покупки, описание и указать способ оплаты. С этим можно предварительно поиграть, что бы уловить суть.

Следующая функция которая лично мне необходима, это Партнер. Вы можете объединить один бюджет на двоих человек. (пока так). Для этого просто выберете кнопку Партнер и укажите никнейм человека через команду /partner, и он в ответ должен сделать зеркально тоже самое и ваши кошельки будут связаны. Теперь когда вы вносите трату какую то, вашему партнеру напишет бот, что списано из бюджета столько то, и наоборот. У каждого доступны одинаковые функции и данные. Важное уточнение если вы уже в отпуске и вдруг начнете вести раздельные кошельки вдвоем и потом захотите объединится, тот кто первый напишет - того и тапки. Кошелек последнего введенного сохраняется и поездка переключается на совместную.

И последняя функция, лично для меня полезная психологически. В какой то мере защищающая от импульсивных трат. Это "Могу ли я?"
нажатие этой кнопки и ввод суммы в любом формате и валюте вызовет расчет на основе ваших средних ежедневных трат (бот не учитывает уже сделанные большие покупки, тоесть дни когда траты почему то были сильно выше чем в остальные) и скажет вам можете ли вы себе это позволить или нет

Ну и карта покупок. Если вы указывали геолокацию покупок, то при запросе карты, вам пришлется картинка с картой, на которой будут отмечены ваши покупки и небольшой рейтинг.
Про историю нет смысла рассказывать, там траты перечислены именно поштучно и по каждой можно по нажатию посмотреть различные данные.

Безопасность осуществляется на уровне телеграмма в целом, но вот краткие пункты

• Бот не хранит ничего лишнего - только ваши расходы, которые вы сами вводите, а сами данные храню в зашифрованном виде, то-есть по сути набор бессмысленных символов.

• Бот не имеет доступа к вашим банковским картам, счетам или паролям, даже некуда ввести.

• Бот не читает ваши сообщения в других чатах - он видит только то, что вы пишете ему напрямую (уровень телеграмма)

• Никто, кроме вас (и вашего партнёра, если вы его подключили), не видит ваши расходы.
  

Повторюсь, бот абсолютно бесплатен, без реклам, просьб подписаться на 100 каналов и лишних уведомлений, я развиваю своё портфолио и делюсь решением с вами, если вдруг кому то будет интересно то ссылка вот:

https://t.me/travmon_bot

В нынешних условиях, бот пока что, работает без сбоев, но я оперативно слежу, а так же иногда делаю всякие апдейты.

Спасибо за прочтение)

Реклама. Обухов Максим Андреевич. ИНН: 780731341327