Подобрали датасет, написали код, получили первые результаты работы нейронки после обучения.

Но модель нужно тестить со всех сторон.

Не получится продать ИИ заказчику или сдать своему руководителю без нормальной отчетности.

Всего есть 7 важных метрик, по которым модель оценивается.

• Accuracy: Процент правильных предсказаний относительно общего числа предсказаний.

• Полнота (Recall): Доля истинных положительных предсказаний относительно фактического числа положительных случаев.

• Точность (Precision): Доля истинных положительных предсказаний среди всех положительных предсказаний.

• F1-мера: Гармоническое среднее точности и полноты, полезное для неравномерно распределённых классов.

• ROC-AUC: Площадь под кривой ROC; показывает, как модель различает положительные и отрицательные классы.

• Mean Absolute Error (MAE) и Mean Squared Error (MSE) для регрессионных задач.

Идеальных моделей не бывает, поэтому метрики нужно догонять в зависимости от задачи.

Помимо учета метрик, нужно уметь: и оптимизировать модель через настройку гиперпараметров (о ней в статье на Хабре), и уменьшать предвзятость ИИ через кросс-валидацию или попросту разбиение тренировочных данных, и убирать эффект переобучения через регуляризацию.

Идеальный анализ качества модели, кстати, не обходится без графиков.

Но иногда всех вышеприведенных методов недостаточно.

Например, при ковариационном сдвиге распределение входных данных каждого слоя нейронки в меняется процессе обучения, из-за чего сети становится сложнее обучать.

Чтобы пофиксить проблему используется батч-нормализация, где среднее значение приближается к нулю, а стандартное к единицу через преобразование входных данных каждого слоя.

Чтобы пофиксить чрезмерную зависимость работы модели от отдельных нейронов применяют дропаут, который рандомно будет выключать некоторые узлы в сети на каждом этапе обучения.

Но главное – это не просто знать методы, а уметь анализировать.

Или DINO – архитектура для тех, кто не может аннотировать.

Метод самодистилляции – разновидность дистилляции знаний (knowledge distillation).

Но с тем важным отличием, что вместо передачи знаний от одной модели к другой (например, от большой "учительской" модели к более компактной "ученической"), модель обучает саму себя, используя свои же прогнозы.

Dino создает модели "учителя" и "ученика" – они обучаются одновременно.

В отличие от классической дистилляции, здесь обе модели имеют идентичную архитектуру, и "учитель" генерирует прогнозы на основе данных, которые затем используются "учеником" для обновления своих параметров.

Архитектура работает через data augmentation, создание нескольких вариаций картинкок на основе изменения контраста, яркости и так далее.

Модель "ученика" обучается на одной версии изображения, в то время как модель "учителя" получает другую версию того же изображения.

Так, кодеры получают инвариативную/гибкую модель.

Утилита также использует метод регрессии по кросс-энтропии (cross-entropy regression) – "ученическая" модель стремится минимизировать расхождение между своими прогнозами и прогнозами "учительской" модели.

Эффект достигается через применение мягкой классификации (soft classification), когда вместо того, чтобы обучаться на жестких метках классов, модель обучается на вероятностных распределениях, которые генерирует "учитель".

Другой важный аспект DINO — это использование проекционной головы (projection head), которая закидывает продукты работы в низкоразмерное пространство, своего рода буфер для сопоставления результатов и прерывания деградации модели.

DINO – своего рода прорыв в DL. Некоторые коммерческие проекты не позволяют из-за отсутствия специалистов, денег попросту составить адекватную разметку, которая иногда требует килотонны часов.

А эта архитектура для CV учится, как минимум, сегментировать и сопоставлять изображения: анализ аэроснимков, контентный поиск, разделение транспортных средств, инстанс-сегментация...

Спецы, которые работают с DINO нужны везде. 

Разобраться в DINO – кинуть себе +5 очков в резюме.

Существует понятие «сырые данные».

Когда мы не проводим аннотации, но пытаемся учить нейронку работать на непроизвольные закономерности. Те самые, что вычислить самостоятельно мы не можем, при помощи интуиции – ИИ все делает за нас.

Таких данных много. Причем, бизнес рекомендует делать уклон в сторону анонимизированной информации. Те же кредитные карты работают по этому принципу.

Понятно, что кредитной истории недостаточно для адекватной оценки клиента. Data labeling – совсем необязательный процесс.

Представьте себе, что у вас есть огромное количество фотографий цветочков, но вы не знаете, что изображено на каждой из них.

Вы можете использовать автоэнкодеры. Может, вы и не узнаете, что за цветочки на фотографии. Но хотя бы сможете их различить и классифицировать. 

Нейронка находит не цветы на фотографиях, а паттерны пикселей.

Например, если вы используете алгоритм k-средних, нейронная сеть будет искать центры кластеров и назначать каждой точке данных принадлежность к определенному кластеру.

Это позволяет сети выявлять общие черты и паттерны в данных, даже без знания точных меток.

Стоит также упомянуть обучение с использованием псевдометок. В этом подходе нейронная сеть первоначально обучается на небольшом наборе размеченных данных, если такие имеются, а затем используется для предсказания меток для остальных данных.

Эти предсказанные метки, называемые псевдометками, используются для дальнейшего обучения сети.

Постепенно сеть улучшает свои способности, используя все больше и больше псевдометок, что позволяет ей извлекать информацию из сырых данных.

🏖Сырые данные – кладезь. Можно и не знать, что в данных есть закономерности и находить их. Научные открытия от нейронок…

Классный пример обучения на сырых данных – тут.

Как жаль, что никто не пользуется архитектурой нейронных сетей Switch Case 🥲