Продолжаем видеонаблюдение
В продолжение поста
В качестве примера возможного использования интеллектуального наблюдения создал тестового бота в телеге, который наблюдает за белками. (зайти, написать /start ждать когда белочка придет :))
Как работает: специально натренированная маленькая детект-моделька детектит только белок и птиц. Датасет публичный, посмотреть можно тут
https://universe.roboflow.com/demo-weez0/birds-and-squirrels
Далее, если белка на видео определилась, сервак засылает видео на опрос в Google Gemini.
Там идет описание видео и дополнительная проверка, например я прошу убедиться что в кадр не попал человек.
На данный момент промпт такой:
Условие: На видео нет людей, совсем. На видео есть птицы или белки. Описание: При описании не упоминай что людей нет. Опиши животных и птиц. Описывай видео как будто ты очень известный спортивный коментатор, соблюдай интригу, добавляй побольше эмоций. В качестве seed используй текущее время. Текущая дата в формате yyyy.MM.dd HH:mm:ss = %DATE%. Не пиши дату в описании.
Результат примерно такой:
Таким же образом можно вести наблюдение за чем угодно, за курящими, за подозрительными людьми. За квадроберами :)
Бонусом :
Походу пора бросать пить, поскольку помимо белок стали приходить другие дивные животные.
Недавно прибились дикие утки, обнаглели и приходили каждый день жрать просить. Поставил им тазик с водой, и корма насыпал. Жаришь шашлыки, а они в глаза глядят :)
Сейчас селезень свалил, утка походу высиживает птенцов, прилетает раз в день, быстро поест и обратно.
А сегодня пришло это чудо, ломилось в дверь. Видимо утки с белками рассказали:
Если что это всё в 20км от МКАД.
Ссылка на тг с софтиной
https://t.me/cam100gramm
Основную разработку приостановил. Необходимый мне функционал готов. Если есть интересные идеи или проекты с использованием ИИ в видеонаблюдении, пишите. Обсудим :)