У компьютера есть глаза⁠⁠

Я хирург, параллельно занимаюсь медтехом. Решил запустить цикл постов про компьютерное зрение в медицине и хирургии. Начнём с базы

Пару лет назад открыл для себя фичу в телефоне: фотографируешь любой предмет, и система говорит, что это, и находит ссылки. Удобно, чтобы понять, хороший ли алкоголь подарил пациент (шутка, конечно). А еще классно ходить в лес с такой камерой, фоткать растения и узнавать их названия.

Выглядит как магия. Именно поэтому меня заинтересовала эта технология. Сразу возникла мысль о применении в практике.
Для начала разберемся: ИИ не видит картинку так, как видим мы.

Кадр — это таблица чисел

Для машины любое изображение — сетка пикселей. Каждый пиксель — числа: сколько в нём красного, зелёного и синего. Скромный снимок в 1 мегапиксель — около трёх миллионов чисел. Кадр с современного телефона — десятки миллионов.

Всё «понимание» дальше — математика над этими числами. Много простых операций, наложенных друг на друга.

Лесенка узнавания

Каждый этаж смотрит не на пиксели, а на находки предыдущего:

1. Первый слой. Маленький фильтр ползёт по кадру и ищет элементарное: границу света и тени, пятно цвета. Видит только края и цвета.

2. Второй слой. Складывает из краёв текстуры и формы.

3. Третий слой. Собирает части объектов: кончик инструмента, блеск влажной ткани.

4. Верхние этажи. Узнаёт целое: «это граспер», «это желчный пузырь».

Слоёв на самом деле гораздо больше, я упростил. Но принцип тот же, что с ординатором, которого учишь читать операционное поле. Объяснения работают слабо. Работает объём живых примеров с обратной связью. Сто разобранных случаев полезнее десяти лекций.

Три базовых кирпича

На выходе у системы три операции:

• Классификация — ЧТО на кадре (например, идёт фаза клипирования).

• Детекция — ГДЕ объект (рамка вокруг инструмента).

• Сегментация — КОНТУР, обведённый попиксельно.

Из этих трёх кирпичей и собраны все системы компьютерного зрения. Эх, магии никакой нет. Есть числа, фильтры и очень много размеченных примеров. В следующей части разберу, как сеть вообще учится и что такое «разметка».