Флаппи получил лицо и камеру. Теперь он видит меня и комментирует⁠⁠

Часть 2 — LCD-дисплей, камера и первый взгляд робота на хозяина

В первой части я рассказал как решил собрать настольного робота после фильма «Финч» с Томом Хэнксом. Raspberry Pi, мозг на Claude, голос — всё это уже было. Но робот без лица — это сервер с колонкой. А мне нужен был именно робот.

Сегодня приехали запчасти. И Флаппи наконец-то получил глаза.

Что приехало

3,5-дюймовый LCD-дисплей. Втыкается прямо в GPIO Raspberry Pi — никаких HDMI-кабелей, никаких переходников. Маленький, но для мордашки робота — идеально.

И камера. Обычная, на 5 мегапикселей. Ничего навороченного — но достаточно чтобы робот мог «видеть».

Подключение дисплея

С дисплеем оказалось просто. В комплекте шла инструкция на одну страницу:

git clone https://github.com/goodtft/LCD-show.git

cd LCD-show/

sudo ./LCD35-show

Три команды, перезагрузка — и на экране появился рабочий стол Raspberry Pi. Всё. Без танцев с бубном, без драйверов из непонятных источников. Приятно когда железо просто работает.

Рисуем лицо

Дисплей работает — но на нём рабочий стол Linux. А мне нужна мордашка.

У меня уже был написан рендерер лица на pygame — 7 эмоций, моргание, движение зрачков, дыхание. Но изначально он был под большой монитор (800×480). Пришлось адаптировать под маленький экран (480×320) и запустить в полноэкранном режиме чтобы убрать системную панель.

Первая версия лица выглядела... криповато.

Анимированные брови на маленьком экране — это не мило, это жутко. Перерисовал в робо-стиле: большие скруглённые глаза с голубым свечением, аниме-блики на зрачках, пульсирующая антенна сверху. Без бровей вообще — эмоции передаются через форму глаз.

Получилось 7 состояний:

• Sleeping — щёлочки вместо глаз, тёмный фон

• Listening — широко открытые глаза, «я весь внимание»

• Thinking — прищур, зрачки вверх

• Speaking — рот анимируется в такт речи

• Happy — глаза-дуги как в аниме, розовые щёчки

• Surprised — огромные глаза, маленькие зрачки

• Sad — опущенные глаза, рот дугой вниз

И они плавно переключаются между собой. Не просто «хоп — другая картинка», а smoothstep-интерполяция всех параметров. Глаза плавно сужаются, зрачки плавно перемещаются, фон плавно меняет цвет. Выглядит живо.

Камера — Флаппи учится видеть

Камера воткнулась шлейфом и сразу определилась. Никаких драйверов — Pi увидел OV5647 и готово.

Написал скрипт: камера делает фото → фото сохраняется на диск → Claude (который уже живёт на этом же Pi) получает команду «прочитай этот файл и расскажи что видишь».

Первый тест — направил камеру в упор на монитор. Claude ответил:

Перенаправил камеру на себя. Второй ответ:

Он меня узнал. Точнее — описал. И сделал это за 10 секунд.

Ну и конечно, как же не сфотографировать любовь всей жизни

Это не заранее записанные фразы. Не распознавание по шаблону. Claude реально смотрит на фотографию и описывает что видит. Своими словами, с юмором, по-русски.

Кнопка «Фото» в админке

У Флаппи есть веб-админка — панель управления где видно температуру процессора, загрузку памяти, статус сервисов. Я добавил туда кнопку «Фото».

Нажимаешь → камера снимает → Claude смотрит → ответ появляется прямо в браузере рядом с фотографией. 10-15 секунд от нажатия до ответа.

Теперь можно сидеть на диване с телефоном, нажимать кнопку и смотреть как робот описывает что происходит в комнате. Это странно увлекательно.

Что дальше

Сейчас камера — это «сделай фото по запросу». Но хочется чтобы Флаппи реагировал сам. Увидел человека — поменял эмоцию на happy. Никого нет — заснул. Увидел что-то необычное — удивился.

Ещё хочу подключить TTS чтобы он не просто писал текст а озвучивал. Фото → Claude → голос из колонки. Полный цикл.

И да — 2 гигабайта оперативки на Pi 4 это боль. Faster-whisper (локальное распознавание речи) + pygame + камера — всё еле помещается. Но пока живём.

Жду до конца недели приход камеры и микрофона, чтобы дать голос Флаппи и начать делать с ним первые проекты.

Как вам идея с камерой? Что бы вы заставили робота делать — охранять квартиру, комментировать что происходит, или может узнавать гостей?