Компьютерное зрение нейронной сети без «черного ящика»
Искусственный интеллект, стоящий за беспилотными автомобилями, анализом медицинских изображений и другими приложениями компьютерного зрения, основан на так называемых глубоких нейронных сетях. Сложно смоделированные, они состоят из слоев взаимосвязанных «нейронов» - математических функций, которые отправляют и получают информацию, и «срабатывают» в ответ на особенности входных данных. Первый слой анализирует необработанные входные данные, такие как пиксели в изображении, и передает эту информацию на следующий уровень, пока в конечном итоге не будет определено, что находится во входном изображении.
Но вот в чем проблема, - говорит профессор компьютерных наук Duke Синтия Рудин. «Мы можем ввести, скажем, рентгеновский снимок и увидеть результат анализа, но трудно понять, что происходило в процессе такого анализа». Это так называемая проблема «черного ящика». То, что происходит в голове машины - скрытые слои сети - часто непостижимы даже для людей, которые ее построили. «Проблема с моделями глубокого обучения в том, что они настолько сложны, что мы на самом деле не знаем, что они изучают», - сказал Чжи Чен, доктор философии. «Их рассуждения могут быть совершенно неправильными».
Команда Duke попробовала другой подход. Их метод обучает сеть показывать свою работу, демонстрируя понимание. Это помогает узнать, как различные концепции представлены на разных уровнях сети. Например, имея изображение библиотеки, этот подход позволяет определить, насколько разные уровни нейронной сети полагаются на свое ментальное представление «книг» для идентификации сцены.
Фото: Duke University School of Nursing
Исследователи обнаружили, что с небольшой корректировкой нейронной сети можно идентифицировать объекты и сцены на изображениях и при этом получить существенную интерпретируемость в процессе рассуждений сети. Когда только один нейрон контролирует информацию об одном понятии, гораздо легче понять, как сеть «думает». «Техника очень проста в применении», - сказал Рудин.
Исследователи говорят, что их модуль можно подключить к любой нейронной сети, которая распознает изображения. В одном эксперименте они подключили его к нейронной сети, обученной обнаруживать рак кожи на фотографиях. Но прежде чем ИИ сможет научиться определять меланому, он должен узнать, что отличает меланомы от нормальных родинок и других доброкачественных пятен на коже, просеивая тысячи обучающих изображений, помеченных экспертами по раку кожи.
«Наш метод выявил недостаток, который существует на сегодняшний день», - сказал Рудин. «И показывает, почему мы не должны слепо доверять моделям «черного ящика», не имея ни малейшего представления о том, что происходит внутри них, особенно в случае сложных медицинских диагнозов».
Работа команды опубликована в журнале Nature Machine Intelligence. Подготовлено по материалам techxplore.com







