Нейросеть считает количество пальцев⁠⁠1

Вот так выглядит область исследований/ знаний. Только вот называть нейросеть, которая отличает кошку от самолёта искусственным интеллектом язык не поворачивается. У ботов в играх больше прав носить этот титул, хотя там куча if/else.

Словосочетание приобрело маркетинговый оттенок и вводит людей в заблуждение, что мне не нравится.

Могу даже кое-чем получше поделиться:

YouTube●36:02

Алгоритм в моём видео такой: нейросеть выдаёт координаты лендмарков кисти руки, а дальше я уже вручную прописал условия для определения количества пальцев. Конечно же, прикрутить нейросеть можно и ко второй части кода, но это уже совсем другая история.

Причём я уверен, что подход через лендмарки в такого рода задачах является единственным правильным. Многие заметили, что в оригинальном посте используется модель YOLO, которая довольно попсовая. Только вот YOLO нам выдаёт не лендмарки, а "это такой-то жест с такой-то вероятностью". Несложно догадаться, что при таком подходе датасет уже должен содержать все необходимые жесты и качество распознавания будет напрямую зависеть от качества датасета. А собрать хороший датасет в десятки раз сложнее, чем прописать математические условия для каждого жеста.

В моём же случае мы используем уже готовую модель BlazeHand, и можем динамически интегрировать нужные нам позы, просто добавляя блоки кода и меняя в любой момент. Никакого переобучения модели и правок датасета не требуется, чего никак не избежать в случае с подходом через модель YOLO. И даже если мы захотим использовать нейросеть уже после полученных лендмарков, то уж такой датасет намного проще собрать

С вариациями были бы проблемы, если бы жест распознавался как матрица пикселей. В случае с YOLO, которая в оригинальном посте скорее всего и используется, проблемы реально будут.

У меня же распознаются лендмарки. Это совсем другой подход, который не имеет проблемы, о которой ты говоришь. Причём, как ты мог заметить, нейронка угадывает положение пальцев, даже когда они не видны в камере.

Я перезалил видео в другом кодеке. Надеюсь, что это помогло

Могу точно сказать, для решения вашей задачи подход с лендмарками рассматривать не стоит. Как раз таки YOLO или аналогичная модель подойдет намного больше. Поскольку вы сравниваете два изображения, то в идеале на выходе нейросети вам нужно иметь матрицу пикселей изображения и сравнивать её, а не лендмарки.