Ландшафт потерь: дизайнер показал, где живут и обучаются нейросети⁠⁠

Инженер и креативный директор Хавьер Идеами запустил проект «Ландшафт потерь», в котором он создает визуализации того математического пространства, где живут и обучаются нейросети. Увидеть это математическое пространство обычно не получается, но именно его особенности определяют работу практически любой современной системы искусственного интеллекта — от программ автоматического перевода до систем распознавания лиц и приложений вроде FaceApp.

Градиентный спуск в ландшафте функции потерь, состоящем из миллиона отдельных точек

Свое название проект получил от математической функции потерь — основного параметра, который направляет работу нейросети при обучении. Функция потерь позволяет рассчитать размер ошибки в прогнозе нейросети в данный момент обучения. Эту величину можно также представить как высоту в математическом ландшафте, другие измерения которого отражают связи между нейронами. Чем ошибка больше, тем выше в математическом ландшафте сейчас находится нейросеть. Задача обучения при этом сводится к поиску низшей точки — то есть к спуску с «горы погрешностей» в «долину правильных ответов».

Этот спуск может происходить разными путями, и не всегда выбранный вариант приводит к истинному глобальному минимуму — иногда обучающаяся нейросеть застревает в некоторой долине просто потому, что случайно туда попала из исходной точки. Исследователи стараются наблюдать за этим процессом и не допускать таких ситуаций, — например, искажая ландшафт потерь за счет изменения гиперпараметров — структуры нейросети, числа связей в ней и других ее особенностей.

Видео на основе обучения той же нейросети (Convnet на датасете Imagenette)

Задача визуализации пространства обучения для современных сложных нейросетей до сих пор была весьма нетривиальной, однако недавно появились работы, которые позволяют его визуализировать до самого обучения или в процессе стресс-теста и контролировать таким образом возможные ошибки в выборе гиперпараметров.

Обучение сети Convnet на датасете Imagenette (подмножестве известного ImageNet) методом градиентного спуска

Морфология и визуализация ландшафта потерь

Здесь можно посмотреть еще видео

Источник