Серия «ИИ в хирургии»

Я хирург, параллельно занимаюсь медтехом. Решил запустить цикл постов про компьютерное зрение в медицине и хирургии. Начнём с базы

Пару лет назад открыл для себя фичу в телефоне: фотографируешь любой предмет, и система говорит, что это, и находит ссылки. Удобно, чтобы понять, хороший ли алкоголь подарил пациент (шутка, конечно). А еще классно ходить в лес с такой камерой, фоткать растения и узнавать их названия.

Выглядит как магия. Именно поэтому меня заинтересовала эта технология. Сразу возникла мысль о применении в практике.
Для начала разберемся: ИИ не видит картинку так, как видим мы.

Кадр — это таблица чисел

Для машины любое изображение — сетка пикселей. Каждый пиксель — числа: сколько в нём красного, зелёного и синего. Скромный снимок в 1 мегапиксель — около трёх миллионов чисел. Кадр с современного телефона — десятки миллионов.

Всё «понимание» дальше — математика над этими числами. Много простых операций, наложенных друг на друга.

Лесенка узнавания

Каждый этаж смотрит не на пиксели, а на находки предыдущего:

1. Первый слой. Маленький фильтр ползёт по кадру и ищет элементарное: границу света и тени, пятно цвета. Видит только края и цвета.

2. Второй слой. Складывает из краёв текстуры и формы.

3. Третий слой. Собирает части объектов: кончик инструмента, блеск влажной ткани.

4. Верхние этажи. Узнаёт целое: «это граспер», «это желчный пузырь».

Слоёв на самом деле гораздо больше, я упростил. Но принцип тот же, что с ординатором, которого учишь читать операционное поле. Объяснения работают слабо. Работает объём живых примеров с обратной связью. Сто разобранных случаев полезнее десяти лекций.

Три базовых кирпича

На выходе у системы три операции:

• Классификация — ЧТО на кадре (например, идёт фаза клипирования).

• Детекция — ГДЕ объект (рамка вокруг инструмента).

• Сегментация — КОНТУР, обведённый попиксельно.

Из этих трёх кирпичей и собраны все системы компьютерного зрения. Эх, магии никакой нет. Есть числа, фильтры и очень много размеченных примеров. В следующей части разберу, как сеть вообще учится и что такое «разметка».

Всем привет! Я хирург и параллельно занимаюсь технологическим предпринимательством. Продолжаем наш увлекательный технологический туризм о том как ИИ "видит" медицину . Это вторая часть, первая тут.

3 задачи компьютерного зрения: что, где, когда какой формы

1. Классификация: «ЧТО?»

Пример из рентгенологии, где технология уже отработана в московском эксперименте: КТ → «злокачественное / доброкачественное». Модель смотрит на снимок целиком и отвечает на вопрос «есть ли здесь объект?». Где именно он находится, ей знать не обязательно.

2. Детекция: «ГДЕ?»

Теперь одного «да» недостаточно. Модель говорит: «Образование вот здесь», и рисует вокруг него рамку.

3. Сегментация: «КАКАЯ ИМЕННО ФОРМА?»

Рамки уже мало. Модель проходит по каждому пикселю и решает: этот пиксель опухоль, этот здоровая ткань, этот сосуд. Вместо прямоугольника мы получаем точный контур.

А с контуром появляется совсем другой уровень информации:

• размер и площадь;

• форма и границы;

• отношение к окружающим структурам.

Звучит просто, но это максимально нетривиальная задача. По сути, это три последовательных уровня извлечения информации из изображения.

Как это выглядит в хирургии

В лапароскопии происходит то же самое. Берём кадр операции:

• классификация: «это этап диссекции»;

• детекция: «вот пузырный проток»;

• сегментация: «вот его точный контур».

Можно было бы на этом успокоиться, но тут приходит любитель «Что? Где? Когда?» и говорит: «Добавьте время».

Что, где, КОГДА?

Если добавить время, появляется ещё один уровень вопроса: «Что хирург делает сейчас и что произойдёт следующим шагом?»

Модель должна по кадру предсказать следующее действие. Такой дерзости не часто встретишь даже у Пелевина.

Цепи Маркова: звучит как философский спор на кухне, а идея простая

Смотрим видео покадрово: кадр 1 → кадр 2 → кадр 3 → кадр 4.

Чтобы примерно предсказать следующий кадр, не нужно помнить всю историю видео. Во многих случаях достаточно знать, что происходит прямо сейчас. Если инструмент находится здесь, то с какой-то вероятностью на следующем кадре он окажется рядом. Если хирург начал движение вправо, скорее всего, оно продолжится.

Будущее зависит от настоящего, а не от всей истории прошлого.

Это можно представить как путешествие между состояниями: A → B → C → D. Вероятность следующего шага определяется текущим состоянием, а не маршрутом, которым мы сюда пришли. Из этой простой идеи строят математические модели процессов, меняющихся во времени.

Почему это важно для хирургического ИИ

Картинка сама по себе ничего не знает о времени. А видео уже последовательность состояний. Если научить модель переходам «что сейчас» → «что вероятнее всего дальше», мы перейдём от распознавания объектов к пониманию динамики. В операционной это особенно интересно: инструмент движется, ткани деформируются, структуры появляются и исчезают из поля зрения, действия разворачиваются шаг за шагом. Вопрос меняется с «Что на этом кадре?» на «Что сейчас происходит и что, скорее всего, будет дальше?».

Подробнее о цепях Маркова можно посмотреть на канале Vert Dider. От такого статистического детерминизма у меня лично голова кругом. Это ли не фантастика?

Конечно, насколько хорошо нейросеть предсказывает, зависит не только от модели, но и от качества и объёма датасета. Об этом поговорим в следующей части.